Рекомендации нового поколения: объединяя историю и связи

Автор: Денис Аветисян

Новая методика позволяет значительно улучшить качество рекомендаций, учитывая не только последовательность действий пользователя, но и взаимосвязи между товарами.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Обучение модели визуализировано динамикой убывания функции потерь и одновременным ростом метрики NDCG@10, что демонстрирует прогресс оптимизации и повышение релевантности результатов.

В статье представлена методика CREATE, использующая графовые нейронные сети и трансформеры для выравнивания и обогащения представлений пользователей и товаров в задачах последовательных рекомендаций.

Несмотря на успехи последовательных рекомендательных систем, основанных на трансформерах, в улавливании временных зависимостей, они часто игнорируют сложные взаимосвязи между элементами взаимодействия. В работе ‘Cross-Representation Knowledge Transfer for Improved Sequential Recommendations’ предложен новый подход, объединяющий трансформеры и графовые нейронные сети для более эффективного моделирования как последовательности, так и структурных зависимостей. Ключевым нововведением является фреймворк CREATE, достигающий повышения качества рекомендаций за счет выравнивания и обогащения представлений пользователей и элементов. Сможет ли предложенный метод стать основой для создания более интеллектуальных и персонализированных рекомендательных систем будущего?

Эволюция Рекомендательных Систем: От Истории к Динамике

Традиционные системы рекомендаций зачастую испытывают трудности с отслеживанием постоянно меняющихся предпочтений пользователей и актуальности предлагаемых товаров или контента. В основе этих систем нередко лежит анализ исторических данных, что делает их восприимчивыми к устаревшим тенденциям и неспособными оперативно реагировать на новые запросы. Пользовательские вкусы эволюционируют, а предлагаемые сервисами алгоритмы, основанные на статичных профилях, могут быстро потерять свою эффективность, приводя к нерелевантным рекомендациям и снижению вовлеченности. Игнорирование динамики предпочтений и текущей популярности контента ограничивает возможности систем в предоставлении действительно персонализированного и своевременного опыта.

Традиционные системы рекомендаций зачастую опираются на поверхностные представления о пользователях и предметах, что существенно ограничивает их способность к обобщению и адаптации к новым ситуациям. Вместо глубокого анализа сложных взаимосвязей, эти системы, как правило, используют упрощенные модели, основанные на явных признаках или частоте взаимодействий. Это приводит к тому, что они плохо предсказывают реакцию на ранее не встречавшиеся комбинации пользователей и товаров, а также не способны быстро адаптироваться к меняющимся предпочтениям и тенденциям. В результате, рекомендации могут оказаться неактуальными или нерелевантными, снижая эффективность всей системы и упуская возможности для более точного и персонализированного подхода.

Последовательное Обучение: Понимание Динамики Пользовательских Вкусов

Методы последовательного обучения анализируют порядок взаимодействия пользователей, что позволяет получить более глубокое понимание изменяющихся предпочтений. В отличие от традиционных подходов, рассматривающих каждое взаимодействие изолированно, последовательное обучение учитывает временную зависимость между действиями пользователя. Это позволяет моделировать динамику интересов, например, как предпочтения меняются со временем или под влиянием предыдущих взаимодействий. Такой анализ критически важен для точного прогнозирования будущих действий пользователя, будь то рекомендации товаров, персонализация контента или прогнозирование оттока клиентов. Учитывая последовательность действий, модели могут выявлять скрытые закономерности и контекст, которые остаются незамеченными при статическом анализе данных.

Модели SASRec и BERT4Rec используют механизмы самовнимания (self-attention) и двунаправленные трансформеры для эффективного моделирования последовательных зависимостей в данных о взаимодействиях пользователей. Само-внимание позволяет модели взвешивать важность различных элементов последовательности при предсказании следующего взаимодействия, учитывая контекст всей последовательности. Двунаправленные трансформеры, в отличие от однонаправленных, обрабатывают последовательность в обоих направлениях, что позволяет учитывать как прошлые, так и будущие взаимодействия для более точного моделирования зависимостей. Это особенно важно для задач, где контекст имеет решающее значение, например, в рекомендательных системах и анализе поведения пользователей.

Механизмы самовнимания (Self-Attention) и двунаправленные трансформаторы (Bidirectional Transformers) позволяют моделям учитывать взаимосвязи между последовательными взаимодействиями пользователя. Само-внимание вычисляет веса, определяющие важность каждого предыдущего взаимодействия при прогнозировании следующего, позволяя модели фокусироваться на наиболее релевантных элементах последовательности. Двунаправленные трансформаторы, в свою очередь, обрабатывают последовательность как с начала, так и с конца, что позволяет улавливать контекст из обоих направлений и более точно моделировать сложные зависимости между элементами последовательности взаимодействий. Такой подход позволяет учитывать не только последние действия пользователя, но и долгосрочные предпочтения и контекст, что значительно повышает точность прогнозирования.

Графовые Представления: Моделирование Взаимосвязей Пользователей и Объектов

Нейронные сети на графах (Graph Neural Networks, GNN) предоставляют эффективный подход к моделированию взаимодействий пользователей и элементов в виде графа «Пользователь-Элемент». В данном графе пользователи и элементы выступают в роли узлов, а взаимодействия (например, просмотры, покупки, оценки) — в роли ребер. Такое представление позволяет явно учитывать реляционные данные, в отличие от традиционных методов, где информация о связях между пользователями и элементами часто неявно кодируется в векторах признаков. Использование графовой структуры позволяет алгоритмам GNN эффективно распространять информацию между узлами, выявляя скрытые зависимости и паттерны взаимодействия, что приводит к более точным рекомендациям и прогнозам.

Модели LightGCN и UltraGCN представляют собой упрощенные варианты графовых конволюционных сетей (GCN), разработанные для повышения эффективности рекомендательных систем. В отличие от традиционных GCN, они удаляют ненужные операции, такие как веса признаков и активационные функции, что снижает вычислительную сложность и ускоряет обучение. Оптимизация ранжирования в этих моделях осуществляется с использованием функции потерь BPR (Bayesian Personalized Ranking), которая фокусируется на максимизации разницы в оценках между предпочитаемыми и непредпочитаемыми элементами для каждого пользователя. $BPR Loss = - \sum_{(u,i,j)} \log \sigma(\hat{x}_{ui} - \hat{x}_{uj})$ , где σ — сигмоидная функция, а $\hat{x}_{ui}$ и $\hat{x}_{uj}$ — предсказанные оценки для пользователя u для элементов i и j соответственно. Такой подход позволяет моделям более эффективно учиться ранжировать элементы в соответствии с предпочтениями пользователей.

Графовые подходы в рекомендательных системах эффективно моделируют сложные взаимосвязи между пользователями и товарами, представляя их в виде графа, где узлы — пользователи и товары, а ребра — взаимодействия между ними. Этот подход позволяет не только учитывать явные связи (например, покупки или оценки), но и косвенные отношения, такие как схожесть пользователей или товаров на основе общих взаимодействий. Информация о предпочтениях и характеристиках распространяется по сети, позволяя алгоритму делать более точные прогнозы на основе контекста и взаимосвязей, что особенно важно для новых пользователей или товаров с ограниченной историей взаимодействий. Эффективность распространения информации обусловлена алгоритмами, такими как $LightGCN$ и $UltraGCN$ , которые оптимизированы для работы с большими графами и минимизации вычислительных затрат.

Исследование влияния размера графа на производительность модели на наборах данных MovieLens-1M и Amazon Beauty показало, что оптимальный размер графа позволяет достичь наилучших результатов.

CREATE: Объединение Последовательного и Графового Моделирования для Улучшенных Рекомендаций

Фреймворк CREATE объединяет последовательное и графовое моделирование посредством комбинации архитектур Transformer и графовых нейронных сетей. Архитектура Transformer обрабатывает последовательности взаимодействий пользователя для захвата краткосрочных паттернов, в то время как графовые нейронные сети моделируют долгосрочные взаимосвязи между элементами и пользователями. Интеграция этих двух подходов позволяет модели учитывать как непосредственную историю действий, так и общие предпочтения и связи в данных, что повышает качество рекомендаций. Комбинирование позволяет использовать преимущества обеих архитектур для более полного представления данных о пользователях и элементах.

В рамках фреймворка CREATE для обучения кросс-представленческих выравнивающих вложений используются методы Barlow Twins и Global Temporal Split. Barlow Twins способствует извлечению инвариантных признаков путем минимизации корреляции между различными представлениями данных, что улучшает обобщающую способность модели. Global Temporal Split разделяет данные по временным интервалам, позволяя модели изучать временные зависимости и повышать устойчивость к шуму. Результаты экспериментов на датасете Yambda-50M показали увеличение метрики NDCG@10 до 38% по сравнению с существующими подходами, что подтверждает эффективность предложенного метода в улучшении качества рекомендаций.

Единый подход, реализованный в CREATE, позволяет модели улавливать как краткосрочные последовательные паттерны поведения пользователей, так и долгосрочные взаимосвязи между элементами. Это достигается за счет одновременного анализа истории взаимодействий и структуры данных, представляющих взаимосвязи между объектами. В результате, на наборе данных Yambda-50M зафиксировано улучшение метрики NDCG@100 на 26% по сравнению с другими моделями, что подтверждает эффективность данного подхода в задачах рекомендаций.

Предложенная работа демонстрирует стремление к упрощению сложных систем рекомендаций. Авторы предлагают framework CREATE, объединяющий последовательные и графовые нейронные сети, что позволяет обогатить представления пользователей и товаров посредством выравнивания различных представлений. Этот подход отражает глубокое понимание необходимости отхода от излишней сложности в моделях машинного обучения. Как заметил Андрей Колмогоров: «Математика — это искусство не упустить из виду очевидное». В данном исследовании авторы стремятся к ясности и эффективности, фокусируясь на создании модели, которая не только обеспечивает высокую производительность, но и остается понятной и интерпретируемой, избегая излишнего усложнения представления данных и алгоритмов.

Что Дальше?

Представленная работа, стремясь к интеграции последовательного и графового подходов в рекомендательных системах, неизбежно сталкивается с фундаментальным вопросом: достаточно ли вообще комбинировать представления, или же истинная простота кроется в выборе одного, наиболее адекватного? Улучшение производительности, достигнутое посредством выравнивания представлений, выглядит как логичный шаг, однако не решает проблему интерпретируемости. Что, собственно, «знают» эти векторы, и как эта «знание» соотносится с реальными предпочтениями пользователя?

Перспективы дальнейших исследований, вероятно, лежат в плоскости редукции. Вместо добавления новых слоёв сложности — графов, трансформеров, выравниваний — возможно, стоит сосредоточиться на упрощении существующих моделей. Необходимо найти минимальный набор параметров, достаточный для адекватного прогнозирования. Применение принципов информационного сжатия и отсеивание избыточной информации представляются более плодотворными, чем бесконечное наращивание «интеллекта».

В конечном итоге, задача рекомендательных систем — не создание сложной нейронной сети, а понимание человеческих желаний. И если система не может объяснить свой выбор в одном предложении, она, вероятно, не понята.

Оригинал статьи: https://arxiv.org/pdf/2602.23471.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-02 18:58