Нейросети и рекомендации: как «научить» ИИ понимать вкусы пользователей?

Автор: Денис Аветисян

Новое исследование показывает, что интеграция традиционных методов коллаборативной фильтрации с большими языковыми моделями значительно повышает точность и качество персонализированных рекомендаций.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Предлагаемая схема проецирует векторные представления пользователей и элементов, полученные методом коллаборативной фильтрации, в языковое пространство и интегрирует их в большую языковую модель вместе с текстовыми токенами, при этом обучение происходит в два этапа, что позволяет эффективно использовать информацию о взаимодействиях пользователей и контента.

В статье рассматривается влияние внедрения векторных представлений пользователей и товаров в архитектуру больших языковых моделей для улучшения работы систем рекомендаций.

Несмотря на впечатляющие успехи больших языковых моделей (LLM) в различных задачах, их применение в рекомендательных системах часто ограничивается использованием только текстовой семантики. В работе, озаглавленной ‘Do LLMs Benefit from User and Item Embeddings in Recommendation Tasks?’, исследуется возможность повышения эффективности LLM за счет интеграции эмбеддингов пользователей и товаров, полученных методами коллаборативной фильтрации. Показано, что проецирование этих эмбеддингов в пространство токенов LLM позволяет значительно улучшить качество рекомендаций по сравнению с моделями, основанными только на текстовых данных. Сможет ли подобный подход объединить преимущества традиционных рекомендательных систем и современных LLM, открывая новые горизонты в персонализированном взаимодействии с пользователями?

Основы: Коллаборативная фильтрация и вложения

Традиционные системы рекомендаций в значительной степени опираются на коллаборативную фильтрацию для прогнозирования предпочтений пользователей. Этот подход основывается на идее, что если пользователи с похожими вкусами в прошлом положительно отреагировали на определенные элементы, то вероятно, что текущему пользователю также понравятся эти элементы. Вместо анализа характеристик самих товаров или пользователей, коллаборативная фильтрация использует историю взаимодействий пользователей с товарами — например, покупки, оценки или просмотры — для выявления закономерностей и формирования рекомендаций. Таким образом, система способна предлагать товары, которые могут заинтересовать пользователя, даже если у нее нет информации о его явных предпочтениях или характеристиках этих товаров, что делает этот метод особенно эффективным в ситуациях, когда данные о пользователях ограничены.

Для анализа взаимодействия пользователей и объектов рекомендательных систем часто применяются методы разложения матриц, такие как факторизация матриц и взвешенный метод наименьших квадратов (Weighted Alternating Least Squares). Эти алгоритмы позволяют представить огромную матрицу взаимодействий, где каждая ячейка отражает предпочтения пользователя к определенному объекту, в виде набора скрытых факторов. Факторизация матриц, например, стремится найти латентные признаки, определяющие как пользователей, так и объекты, тем самым уменьшая размерность данных и упрощая процесс предсказания. Взвешенный метод наименьших квадратов, в свою очередь, позволяет учитывать различную степень доверия к данным, присваивая больший вес более надежным взаимодействиям. Использование этих методов позволяет эффективно обрабатывать большие объемы данных и выявлять скрытые закономерности в предпочтениях пользователей, что в конечном итоге повышает точность рекомендаций.

В основе современных систем рекомендаций лежит представление пользователей и товаров в виде векторных вложений — так называемых User Embeddings и Item Embeddings. Эти вложения, создаваемые с помощью методов понижения размерности, позволяют преобразовать разряженные данные о взаимодействиях пользователей с товарами в компактные векторы, отражающие их характеристики и предпочтения. По сути, каждый пользователь и товар получает координаты в многомерном пространстве, где близость векторов указывает на схожесть предпочтений или характеристик. Благодаря этому, система может быстро и эффективно находить наиболее релевантные товары для конкретного пользователя, основываясь на вычислении расстояния между их векторными представлениями, что значительно превосходит по эффективности традиционные методы поиска и фильтрации.

Соединяя Разрозненное: Большие Языковые Модели для Рекомендаций

Большие языковые модели (LLM) представляют собой принципиально новый подход в системах рекомендаций, отличающийся от традиционных методов способностью учитывать последовательность взаимодействий пользователя. В отличие от алгоритмов, анализирующих отдельные действия, LLM способны обрабатывать историю действий пользователя как последовательность, что позволяет им выявлять сложные паттерны поведения и предсказывать будущие предпочтения с большей точностью. Такой подход особенно важен для задач последовательных рекомендаций, где порядок действий пользователя имеет критическое значение для определения релевантных предложений. Традиционные методы, как правило, рассматривают взаимодействие пользователя с элементом как независимое событие, в то время как LLM учитывают контекст предыдущих действий, что позволяет им строить более персонализированные и эффективные рекомендации.

Для интеграции больших языковых моделей (LLM) в системы рекомендаций требуется преобразование векторных представлений пользователей и элементов (user/item embeddings) в текстовый формат, понятный для LLM. Этот процесс осуществляется посредством использования User Embedding Projector и Item Embedding Projector — специализированных модулей, осуществляющих проецирование многомерных векторных представлений в последовательности токенов, которые могут быть обработаны LLM. Проекция включает в себя квантизацию векторных значений и сопоставление их с элементами словарного запаса LLM, обеспечивая возможность интерпретации LLM информации о пользователях и элементах в контексте последовательности взаимодействий.

Интеграция больших языковых моделей (LLM) в системы рекомендаций позволяет использовать их возможности логического вывода для повышения точности и персонализации рекомендаций, особенно в задачах последовательных рекомендаций. В отличие от традиционных методов, LLM способны учитывать последовательность взаимодействий пользователя с элементами, анализируя историю действий для предсказания наиболее релевантных предложений. Это достигается путем представления данных о пользователях и элементах в формате, понятном LLM, что позволяет модели извлекать более сложные паттерны и зависимости, приводящие к более точным и персонализированным рекомендациям, учитывающим контекст предыдущих действий пользователя.

Эффективная Адаптация: LoRA и OpenLLaMA

Для решения вычислительных задач, связанных с тонкой настройкой модели OpenLLaMA-3B, мы используем LoRA (Low-Rank Adaptation) адаптеры. LoRA замораживает веса предварительно обученной модели и внедряет небольшие, обучаемые матрицы низкого ранга, что значительно сокращает количество тренируемых параметров. Вместо обновления всех параметров модели, LoRA обновляет только эти небольшие матрицы, что снижает потребность в вычислительных ресурсах и памяти, сохраняя при этом возможность адаптации модели к конкретной задаче. Это позволяет эффективно обучать большие языковые модели даже при ограниченных ресурсах, снижая стоимость обучения и ускоряя процесс.

Модель обучается с использованием функции потерь Next-Token Prediction, что позволяет ей предсказывать следующий элемент в последовательности действий пользователя. В процессе обучения модель анализирует последовательности действий и вычисляет вероятность каждого возможного следующего элемента. Минимизация этой функции потерь достигается путем корректировки весов модели, что позволяет ей более точно предсказывать следующий элемент в последовательности, основываясь на предыдущих действиях пользователя. Это позволяет модели формировать рекомендации, предсказывая наиболее вероятные следующие шаги пользователя в системе.

Использование LoRA адаптеров для тонкой настройки модели OpenLLaMA-3B позволило существенно снизить затраты на обучение, сохранив при этом высокую точность рекомендаций. Сокращение числа обучаемых параметров напрямую влияет на требуемые вычислительные ресурсы и время обучения, что делает возможным масштабирование модели для работы с большими объемами данных и обслуживания большего числа пользователей. Эффективность данного подхода подтверждается сохранением метрик качества рекомендаций на уровне, сопоставимом с обучением полной модели, при значительно меньших финансовых и временных затратах.

Оценка Эффективности: Строгая Валидация Метрик

Для оценки эффективности разработанной системы рекомендаций применялись метрики, такие как коэффициент попадания (Hit Ratio) и нормализованный дисконтированный кумулятивный прирост (Normalized Discounted Cumulative Gain или NDCG). Коэффициент попадания измеряет долю релевантных элементов, представленных в списке рекомендаций, в то время как NDCG учитывает как релевантность, так и позицию элемента в списке, отдавая предпочтение более релевантным элементам, находящимся в начале списка. Использование этих метрик позволяет объективно оценить способность системы точно предсказывать наиболее подходящие для пользователя элементы и демонстрирует её высокую эффективность в предоставлении релевантных рекомендаций. Повышенные значения этих метрик указывают на улучшенное качество рекомендаций и более точное соответствие предпочтениям пользователя.

Проведенное сравнение с устоявшимися рекомендательными системами, такими как SASRec и HGN, демонстрирует устойчивое превосходство разработанного подхода. В частности, внедрение эмбеддингов коллаборативной фильтрации в языковую модель значительно улучшает качество рекомендаций, что подтверждено результатами на различных наборах данных, включая Amazon Beauty, LastFM и MovieLens-1M. Данный метод позволяет достичь более точного предсказания релевантных элементов, повышая эффективность рекомендательных систем в целом и обеспечивая более персонализированный пользовательский опыт.

Результаты экспериментов на различных наборах данных, включая Amazon Beauty, LastFM и MovieLens-1M, демонстрируют значительное улучшение показателей качества рекомендаций при использовании модели Llama-Embed-Stage-2 по сравнению с текстовыми языковыми моделями OpenP5 (Llama-R/S/C). В частности, наблюдается рост значений метрик HR@5, NDCG@5, HR@10 и NDCG@10, что свидетельствует о повышенной точности и релевантности предлагаемых элементов. Данные улучшения подтверждают эффективность подхода, основанного на интеграции эмбеддингов коллаборативной фильтрации, в контексте построения рекомендательных систем, позволяя модели более эффективно предсказывать предпочтения пользователей.

Для обеспечения надежности и возможности верификации результатов, оценка производительности системы осуществлялась с использованием библиотеки OpenP5. Этот инструмент позволяет проводить всесторонний анализ и предоставляет стандартизированные метрики, что критически важно для сопоставления полученных данных с результатами других исследований в области рекомендательных систем. Использование OpenP5 гарантирует воспроизводимость экспериментов и облегчает сравнение эффективности предложенного подхода с существующими алгоритмами, такими как SASRec и HGN, способствуя тем самым объективной оценке достигнутых улучшений в точности предсказаний на различных наборах данных, включая Amazon Beauty, LastFM и MovieLens-1M.

Взгляд в Будущее: За Пределами Точности и Персонализации

Данное исследование создает базу для изучения более сложных применений больших языковых моделей (LLM) в системах рекомендаций, в частности, интеграции многомодальных данных. Вместо того чтобы полагаться исключительно на текстовые описания товаров или предпочтения пользователей, будущие системы смогут анализировать и объединять информацию из различных источников — изображения, аудио, видео, и даже сенсорные данные. Такой подход позволит LLM формировать более полное представление о потребностях пользователя и характеристиках предлагаемых продуктов, значительно повышая точность и релевантность рекомендаций. Предполагается, что комбинирование различных типов данных позволит преодолеть ограничения, связанные с неполнотой или неоднозначностью текстовой информации, и откроет новые возможности для создания интеллектуальных систем, способных понимать контекст и предвосхищать желания пользователей.

Дальнейшие исследования сосредоточены на решении сложных задач, связанных с проблемой «холодного старта» в рекомендательных системах, когда информации о новом пользователе или товаре недостаточно для формирования релевантных предложений. Ученые стремятся разработать методы, позволяющие эффективно использовать ограниченные данные и генерировать полезные рекомендации даже в условиях нехватки информации. Параллельно ведется работа над повышением прозрачности и объяснимости рекомендаций — необходимо, чтобы пользователи понимали, почему им предлагается тот или иной контент. Это достигается за счет разработки алгоритмов, способных аргументировать свои предложения, указывая на конкретные факторы, повлиявшие на выбор. Улучшение объяснимости не только повышает доверие пользователей к системе, но и позволяет им более осознанно формировать свои предпочтения.

В конечном итоге, стремление к созданию действительно интеллектуальных рекомендательных систем предполагает выход за рамки простого реагирования на явленные предпочтения пользователя. Исследования направлены на разработку алгоритмов, способных предвидеть потребности, основываясь на комплексном анализе поведения, контекста и даже скрытых намерений. Такие системы должны не просто предлагать релевантный контент, но и активно формировать пользовательский опыт, предоставляя персонализированные решения до того, как возникнет осознанная потребность. Это требует глубокого понимания когнитивных процессов и разработки моделей, способных к прогнозированию и адаптации, что, в свою очередь, откроет новые горизонты в области взаимодействия человека и машины и приведет к качественно новому уровню персонализации.

Исследование демонстрирует, что внедрение коллаборативной фильтрации в большие языковые модели значительно повышает эффективность рекомендаций. Это подтверждает необходимость интеграции различных подходов для достижения оптимальных результатов. В этом контексте, слова Бертрана Рассела представляются особенно уместными: «Чем больше я узнаю, тем больше я понимаю, как мало я знаю». Истина, отраженная в этой фразе, применима и к области рекомендательных систем, где постоянное стремление к улучшению и включению новых методов, таких как использование embeddings, является ключевым фактором прогресса. Успех предложенного подхода показывает, что простота интеграции, в данном случае embeddings, может значительно превзойти сложность традиционных методов.

Что дальше?

Представленная работа, несмотря на свою очевидную пользу, лишь приоткрывает завесу над сложной диалектикой взаимодействия больших языковых моделей и традиционных методов коллаборативной фильтрации. Улучшение производительности, достигнутое за счет внедрения эмбеддингов, не является самоцелью, а скорее указывает на фундаментальную потребность в более глубоком понимании того, как структурированные данные могут быть эффективно представлены и усвоены этими моделями. Простое добавление информации не решает проблему, а лишь переносит её на новый уровень сложности.

Следующим шагом видится отказ от наивной инъекции эмбеддингов в качестве дополнительных параметров. Необходимо исследовать более изящные методы интеграции, возможно, основанные на принципах минимализма и семантической чистоты. Вместо того, чтобы пытаться вместить все, следует найти способ выделить суть, отбросив избыточность. Важно помнить: упрощение — это не потеря, а обретение ясности.

В конечном счете, истинный прогресс заключается не в создании всё более сложных систем, а в разработке принципиально новых подходов к моделированию предпочтений. Возможно, ключ к решению проблемы лежит не в совершенствовании существующих алгоритмов, а в переосмыслении самой концепции рекомендаций, в отказе от погони за точностью ради понимания глубинных мотивов выбора. Иногда, чтобы увидеть лес, необходимо отвернуться от деревьев.

Оригинал статьи: https://arxiv.org/pdf/2601.04690.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-11 06:59