Рекомендации нового поколения: семантическое понимание и масштабируемость

Автор: Денис Аветисян

Новая система STARS использует возможности больших языковых моделей для создания персонализированных рекомендаций, значительно улучшая качество и решая проблему «холодного старта».

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Система STARS объединяет семантические токены, двойные пользовательские вложения и масштабируемые методы поиска для повышения качества рекомендаций.

Современные системы рекомендаций электронной коммерции сталкиваются с противоречивыми требованиями — необходимо обеспечивать релевантность предложений при жестких ограничениях по времени отклика. В данной работе представлена система ‘STARS: Semantic Tokens with Augmented Representations for Recommendation at Scale’ — новый подход к последовательным рекомендациям, разработанный для масштабируемых и низколатентных сценариев. STARS объединяет семантическое обогащение элементов, моделирование многоцелевых намерений пользователей и оптимизированный конвейер поиска, демонстрируя значительное улучшение качества рекомендаций, особенно для новых товаров и разнообразных запросов. Возможно ли дальнейшее повышение эффективности таких систем за счет интеграции более сложных моделей понимания естественного языка и адаптации к динамично меняющемуся контексту?

За пределами последовательного моделирования: необходимость семантического обогащения

Традиционные модели последовательных рекомендаций, такие как SASRec и BERT4Rec, зачастую сталкиваются с трудностями при улавливании тонких взаимосвязей между товарами, ограничиваясь лишь констатацией факта их совместного появления в истории взаимодействий пользователя. Эти модели, анализируя последовательность покупок или просмотров, склонны воспринимать товары как взаимозаменяемые элементы в цепочке, упуская из виду более глубокие семантические связи, определяемые их характеристиками, категориями или функциональным назначением. В результате, система может рекомендовать товары, которые просто часто покупаются вместе, но не обязательно релевантны текущим потребностям или предпочтениям пользователя, что снижает качество и разнообразие рекомендаций и ограничивает возможности для открытия новых, интересных товаров.

Ограничение рекомендательных систем исключительно историей взаимодействий пользователя с предметами упускает из виду богатый семантический контекст, присущий этим предметам. Такой подход, фокусируясь лишь на последовательности действий, не позволяет выявить скрытые связи и атрибуты, определяющие суть каждого предмета. В результате, рекомендации часто оказываются предсказуемыми и лишены элемента неожиданности, ограничивая возможность обнаружения действительно релевантных, но ранее неизвестных пользователю, предметов. Использование лишь данных о взаимодействиях препятствует более глубокому пониманию предпочтений, поскольку не учитывает, например, жанр фильма, характеристики товара или тематику статьи, что существенно снижает потенциал для персонализированных и serendipitous рекомендаций.

Ограниченность способности систем рекомендаций использовать внешние знания существенно снижает качество персонализации, особенно в отношении новых или редко взаимодействующих элементов. Традиционные алгоритмы, фокусируясь исключительно на истории взаимодействия пользователя, упускают из виду ценную семантическую информацию об объектах, такую как их атрибуты, категории или связи с другими сущностями. Это приводит к тому, что система не может эффективно предсказывать предпочтения пользователя для элементов, с которыми он еще не взаимодействовал, или для тех, которые взаимодействуют редко. Интеграция внешних знаний, например, из баз данных знаний или онтологий, позволяет системе обогатить представление о пользователях и элементах, улучшая точность и релевантность рекомендаций, а также способствуя открытию новых и неожиданных, но потенциально интересных объектов.

STARS: Двухступенчатый конвейер для семантических рекомендаций

Система STARS использует двухступенчатую архитектуру поиска, направленную на повышение качества рекомендаций за счет семантического обогащения данных. Первый этап фокусируется на быстром извлечении большого количества релевантных кандидатов, а второй — на более глубоком семантическом анализе этих кандидатов для точной ранжировки. В отличие от традиционных методов коллаборативной фильтрации, которые полагаются на явные взаимодействия пользователей, STARS использует семантическое представление элементов, позволяющее учитывать скрытые характеристики и контекст. Такая архитектура позволяет более эффективно обрабатывать большие объемы данных и предоставлять пользователям более релевантные и персонализированные рекомендации.

В основе системы STARS лежит использование замороженных текстовых вложений (Frozen Text Embedding) для создания базового семантического представления элементов. Эти вложения, предварительно обученные на больших корпусах текста, обеспечивают обобщенное понимание характеристик каждого элемента. Для учета специфики взаимодействия пользователя с элементами, применяется обучаемый дельта-вектор (Learnable Delta), который корректирует замороженное вложение. Этот дельта-вектор обучается на данных о взаимодействиях, позволяя системе адаптировать семантическое представление элемента к конкретному контексту взаимодействия, таким образом улучшая точность рекомендаций. Фактически, замороженные вложения служат основой, а дельта-векторы — механизмом тонкой настройки представления элемента.

Внедрение больших языковых моделей (LLM) в архитектуру STARS позволяет значительно расширить возможности анализа характеристик предметов и контекстной информации по сравнению с традиционными методами коллаборативной фильтрации. В отличие от подходов, основанных исключительно на истории взаимодействий пользователей, STARS использует LLM для извлечения семантически богатых представлений о предметах, учитывая их описания, атрибуты и связи с другими сущностями. Это позволяет системе понимать не только что пользователи предпочитают, но и почему, что приводит к более релевантным и персонализированным рекомендациям, особенно в случаях, когда история взаимодействий ограничена или отсутствует.

Для повышения точности рекомендаций система STARS использует дискретные атрибутивные теги, дополняющие семантическое представление элементов. Эти теги представляют собой набор категориальных признаков, описывающих характеристики товара или контента, например, жанр фильма, бренд одежды или тип кулинарного рецепта. Использование дискретных тегов позволяет системе не только учитывать общие предпочтения пользователей, но и более эффективно фильтровать и ранжировать элементы на основе конкретных атрибутов, что особенно важно для пользователей с четко определенными потребностями или при поиске товаров с определенными характеристиками. Применение таких тегов значительно улучшает релевантность рекомендаций, обеспечивая более точное соответствие запросам пользователя.

Усиление дискриминации и персонализации с помощью передовых техник

В системе STARS для улучшения качества векторных представлений элементов (item embeddings) применяется метод Contrastive Learning. Этот подход предполагает обучение модели таким образом, чтобы векторы релевантных элементов (например, товаров, которые пользователь просматривал или приобретал) были максимально близки друг к другу в векторном пространстве, а векторы нерелевантных элементов — максимально удалены. Математически, это достигается минимизацией расстояния между векторами релевантных элементов и максимизацией расстояния между векторами нерелевантных элементов, используя функцию потерь, основанную на сравнении сходства (similarity) между ними. Это позволяет модели более эффективно различать и рекомендовать подходящие элементы пользователям.

Метод Subclass-Aware Negative Sampling повышает точность модели, фокусируясь на различении элементов внутри одной и той же детализированной категории. Традиционные методы негативной выборки часто включают в качестве негативных примеров элементы из разных категорий, что упрощает задачу обучения. Subclass-Aware Negative Sampling, напротив, генерирует негативные примеры преимущественно из той же подкатегории, что заставляет модель более эффективно различать тонкие нюансы и улучшает ее способность к точной классификации и ранжированию элементов. Это особенно важно для систем, работающих с широким ассортиментом товаров или контента, где даже небольшие различия могут иметь значение для пользователя.

Функция потерь Candidate-Slice Softmax Loss оптимизирует процесс обучения путем фокусировки на наиболее релевантных кандидатах для каждого пользователя. Вместо вычисления softmax по всему набору кандидатов, она разделяет их на несколько «срезов» (slices) на основе их релевантности. Вычисление softmax происходит в каждом срезе отдельно, что позволяет модели более эффективно различать релевантные и нерелевантные элементы. Это снижает вычислительную сложность и улучшает качество обучения, особенно при работе с большими каталогами и высокой размерностью пространства признаков. Использование данной функции потерь способствует повышению точности ранжирования и персонализации рекомендаций.

Для эффективной фильтрации и хранения метаданных в системе STARS используется Elasticsearch. Данная технология обеспечивает масштабируемую инфраструктуру, способную обрабатывать большие объемы данных, что критически важно для персонализации и повышения релевантности рекомендаций. Elasticsearch позволяет быстро осуществлять поиск и фильтрацию по различным атрибутам товаров и пользователей, а также хранить связанные метаданные, такие как категории, теги и характеристики. Это позволяет значительно ускорить процесс выбора наиболее подходящих кандидатов для каждого пользователя и повысить точность рекомендаций, особенно при работе с миллионами товаров и пользователей.

Динамическое понимание пользователя и контекстная релевантность

Представление о пользователе, основанное на двойной памяти, позволяет учитывать как кратковременные, так и долгосрочные предпочтения, формируя более полное понимание индивидуальных потребностей. В отличие от традиционных подходов, которые часто фокусируются исключительно на недавней активности, эта модель сохраняет историю взаимодействия пользователя с системой, выявляя устойчивые интересы и закономерности. Кратковременная память фиксирует текущий контекст и недавние действия, в то время как долгосрочная память хранит накопленный опыт и предпочтения, сформированные на протяжении длительного времени. Такое сочетание позволяет системе предлагать рекомендации, которые учитывают не только текущие запросы, но и общую картину интересов пользователя, повышая релевантность и персонализацию предложений. Благодаря этому, система способна адаптироваться к изменяющимся вкусам и предпочтениям, обеспечивая более точные и полезные рекомендации.

Система оценки, учитывающая контекст, динамически корректирует рейтинги рекомендаций, принимая во внимание текущие факторы, такие как сезонность или время суток. Вместо применения фиксированных оценок, алгоритм адаптируется к изменяющимся потребностям пользователя, что позволяет предлагать более актуальные и привлекательные варианты. Например, в жаркий летний день система может отдавать предпочтение освежающим напиткам или легким блюдам, в то время как зимой акцент смещается на согревающие продукты и товары. Подобный подход позволяет учитывать не только индивидуальные предпочтения пользователя, но и внешние условия, повышая релевантность и эффективность рекомендаций, а также создавая ощущение, что система действительно понимает текущий момент и потребности пользователя.

Система STARS выходит за рамки простого сопоставления интересов пользователя и предлагаемых товаров. Она объединяет глубокое семантическое понимание контента, индивидуальные предпочтения, формирующиеся на основе истории взаимодействия, и текущий контекст — время суток, сезонность и другие факторы. Благодаря этому подходу, рекомендации становятся не просто релевантными, то есть отвечающими запросам, но и неожиданными, открывающими для пользователя новый, потенциально интересный контент. Именно сочетание точности и непредсказуемости делает взаимодействие с системой STARS увлекательным и способствует более длительному вовлечению пользователя, предоставляя ему персонализированный опыт, выходящий за рамки стандартных алгоритмов.

Для обеспечения быстродействия и масштабируемости системы рекомендаций применяется метод приближенного поиска ближайших соседей. Вместо полного перебора всех доступных элементов, что потребовало бы значительных вычислительных ресурсов и времени, данный подход позволяет оперативно находить наиболее релевантные кандидаты на основе векторного представления предпочтений пользователя и характеристик элементов. Алгоритм фокусируется на поиске приблизительно ближайших соседей, жертвуя незначительной точностью ради существенного выигрыша в скорости. Это особенно важно при работе с огромными каталогами и большим количеством пользователей, позволяя системе мгновенно реагировать на запросы и обеспечивать плавный, отзывчивый пользовательский опыт, даже при высоких нагрузках. Подобный подход делает возможным предоставление персонализированных рекомендаций в режиме реального времени, значительно улучшая взаимодействие пользователя с платформой.

Перспективы развития: расширение границ семантических рекомендаций

Интеграция ARAG, конвейера, основанного на агентах и больших языковых моделях, открывает перспективы для углубленного понимания намерений пользователей и формирования более точных рекомендаций. В отличие от традиционных систем, полагающихся на статичные профили, ARAG способен динамически анализировать запросы, выявлять скрытые потребности и учитывать контекст взаимодействия. Этот подход позволяет не просто предлагать товары или контент, соответствующие ключевым словам, но и предугадывать желания пользователя, основываясь на комплексном анализе его поведения и предпочтений. В результате, система способна генерировать рекомендации, которые не только релевантны, но и персонализированы, учитывая уникальные особенности каждого пользователя и обеспечивая более эффективный и приятный пользовательский опыт.

Исследования показывают, что традиционные системы рекомендаций часто упускают из виду динамику пользовательских предпочтений во времени. Модель TiSASRec представляет собой перспективный подход к решению этой проблемы, используя механизм самовнимания для моделирования последовательностей взаимодействий пользователя с элементами. Это позволяет системе учитывать не только текущие интересы, но и то, как эти интересы менялись в прошлом, что особенно важно для таких сервисов, как потоковое видео или музыка. В отличие от моделей, рассматривающих только недавние взаимодействия, TiSASRec способен выявлять долгосрочные тренды и предсказывать будущие предпочтения с большей точностью. Ожидается, что внедрение TiSASRec позволит значительно улучшить качество рекомендаций, делая их более релевантными и персонализированными для каждого пользователя, учитывая эволюцию его вкусов и потребностей.

Использование подхода P5 к языковому моделированию открывает новые перспективы в создании персонализированных описаний и объяснений к предлагаемым товарам. В отличие от традиционных методов, полагающихся на статичные характеристики, P5 позволяет генерировать тексты, адаптированные к индивидуальным предпочтениям пользователя и контексту взаимодействия. Эта технология способна не просто перечислить характеристики товара, но и объяснить, почему он может быть интересен конкретному пользователю, основываясь на его предыдущих взаимодействиях и заявленных потребностях. Благодаря этому, система рекомендаций становится более прозрачной и понятной, а пользователи получают не только список товаров, но и аргументированное обоснование выбора, что способствует повышению доверия и лояльности к платформе. Такой подход позволяет существенно обогатить пользовательский опыт, превращая процесс выбора из простого поиска в увлекательное и информативное взаимодействие.

Крайне важно учитывать и корректировать предвзятость к популярным элементам в системах рекомендаций. Исследования показывают, что алгоритмы склонны отдавать предпочтение широко известным товарам или контенту, что приводит к снижению разнообразия и несправедливости для менее популярных, но потенциально релевантных предложений. Устранение этой предвзятости требует применения специальных методов, таких как перевзвешивание данных, использование регуляризации или применение алгоритмов, ориентированных на диверсификацию. Игнорирование этой проблемы может привести к формированию «пузырей фильтров», где пользователи видят лишь ограниченный спектр информации, что снижает ценность рекомендаций и ограничивает возможности открытия нового контента или товаров.

Представленная работа демонстрирует, как системный подход к рекомендациям, основанный на обогащении контента и использовании двойных пользовательских представлений, позволяет значительно улучшить качество предложений, особенно в условиях нехватки данных о новых элементах. В этом контексте, слова Бертрана Рассела — «Чем больше мы знаем, тем больше понимаем, как мало мы знаем» — приобретают особую актуальность. Разработчики STARS, стремясь к всестороннему анализу пользовательских интересов и свойств контента, осознают сложность и многогранность задачи рекомендаций. Система, подобно живому организму, требует постоянного обучения и адаптации, чтобы эффективно реагировать на меняющиеся потребности пользователей и динамично развивающийся контент. Структурное решение, предложенное в STARS, действительно влияет на поведение всей системы, обеспечивая её масштабируемость и эффективность.

Куда двигаться дальше?

Представленная работа, безусловно, демонстрирует возможности обогащения рекомендательных систем за счет интеграции больших языковых моделей. Однако, необходимо признать: если система держится на костылях из сложных эмбеддингов и многоступенчатых процессах извлечения признаков, значит, мы, вероятно, переусложнили её. Иллюзия контроля над рекомендациями достигается не глубиной модели, а пониманием лежащих в основе данных взаимосвязей. Проблема холодного старта, хотя и смягчена, не решена принципиально: просто переложили её с объектов на контекст.

Будущие исследования должны сосредоточиться не на увеличении количества параметров, а на их осмысленном применении. Модульность без понимания контекста — это лишь удобная, но обманчивая конструкция. Важнее разработка систем, способных к самообучению и адаптации к меняющимся пользовательским предпочтениям, а не к их предсказанию на основе устаревших данных. Необходимо искать более элегантные решения, основанные на принципах простоты и ясности, а не на бесконечном наращивании сложности.

В конечном счете, истинный прогресс в области рекомендаций заключается не в создании более «умных» алгоритмов, а в более глубоком понимании того, что действительно мотивирует пользователей. Эффективная система — это не сложный механизм, а живой организм, способный к эволюции и самосовершенствованию.

Оригинал статьи: https://arxiv.org/pdf/2512.10149.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-15 00:08