Искусственный помощник для Adobe Summit: опыт разработки и оценки

Автор: Денис Аветисян

Как создать эффективного ИИ-ассистента для масштабного мероприятия, используя подход с привлечением человека?

Система Summit, представленная на схеме, демонстрирует общую архитектуру сервиса консьержа, раскрывая ключевые компоненты и их взаимосвязь для обеспечения комплексного пользовательского опыта.

В статье описывается разработка и оценка Summit Concierge – генеративного ИИ-помощника для Adobe Summit, реализованного с применением принципов обучения с подкреплением от человека и генерации ответов на основе извлечения информации.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Несмотря на растущий потенциал генеративных ИИ-ассистентов, их быстрое развертывание в реальных условиях, особенно при ограниченности данных, представляет собой сложную задачу. В данной работе, ‘Adobe Summit Concierge Evaluation with Human in the Loop’, представлено описание разработки и оценки Summit Concierge – специализированного ИИ-ассистента для поддержки мероприятия Adobe Summit. Показано, что применение человеко-в-цикле (human-in-the-loop) подхода, сочетающего промт-инжиниринг, поиск релевантной информации и легкую валидацию человеком, позволяет создать масштабируемого и надежного ассистента даже в условиях «холодного старта». Каким образом подобные методы могут быть адаптированы для создания доменно-специфичных ИИ-решений в других корпоративных контекстах?

Старые проблемы в новой упаковке

Традиционные базы знаний испытывают трудности при предоставлении динамичных и нюансированных ответов, ожидаемых от современных ассистентов. Их статичная природа не позволяет эффективно обрабатывать сложные запросы, требующие контекстного понимания и адаптации. Ограничения предопределенных правил становятся очевидными при столкновении с комплексными или новыми запросами. Масштабирование этих систем представляет значительные инженерные и эксплуатационные трудности, требуя постоянных усилий и ресурсов. Каждая «революционная» технология завтра станет техдолгом.

Summit Concierge: Иллюзия интеллекта

Система Concierge, представленная на Adobe Summit, использует генеративные AI-ассистенты для мгновенных и информативных ответов участникам, повышая эффективность поддержки. Ключевым аспектом является объединение структурированных и неструктурированных данных о продуктах Adobe, обеспечивая комплексную информацию. В основе реализации лежат методы Retrieval-Augmented Generation (RAG) и преобразования естественного языка в SQL (NL2SQL), обеспечивающие контекстную релевантность и доступ к данным.

Контроль качества: Ручной труд в эпоху AI

Поддержание надёжного качества в генеративных моделях требует комплексного подхода, сочетающего человеческий контроль и автоматизированную оценку. Разработка с участием человека (Human-in-the-Loop Development) играет ключевую роль в курации данных и валидации ответов, позволив сократить потребность в ручной аннотации на 86% (с 1500 до 276 запросов). Для преодоления нехватки данных применяется генерация синтетических данных, дополняющих существующие наборы, что привело к получению 624 аннотированных взаимодействий, из которых 30,1% (188) потребовали корректировок.

SQLSynth: Улучшение, но не панацея

Система SQLSynth демонстрирует улучшение в обработке сложных запросов к базам данных посредством генерации ответов на естественном языке. Интеграция со структурированными данными снижает количество ошибок маршрутизации, не относящихся к области компетенции системы, с 4% до 3%. Ключевым элементом архитектуры является методика Chain-of-Thought Prompting, повышающая способность LLM к логическому мышлению и обеспечивающая прозрачность генерируемых ответов. Модуль автозаполнения минимизирует усилия пользователя и повышает эффективность запросов. Каждая «революционная» технология завтра станет техдолгом.

Разработка Summit Concierge, описанная в статье, наглядно демонстрирует, как быстро энтузиазм в отношении генеративных моделей сталкивается с суровой реальностью нехватки данных и необходимостью оперативного развертывания. Этот процесс, требующий постоянного участия человека для корректировки и улучшения ответов, неизбежно превращает первоначальную элегантность теории в рутинную работу по отладке и оптимизации. Как однажды заметил Дональд Дэвис: «Любая революционная технология завтра станет техдолгом». И действительно, стремление к масштабируемости часто заставляет пренебрегать тщательным тестированием, а в итоге получается система, которая прекрасно работает в демонстрационной среде, но трещит по швам под реальной нагрузкой. В конечном счете, прагматизм и понимание ограничений неизбежно берут верх над идеалистическими представлениями.

Что дальше?

Разработка Summit Concierge, несомненно, демонстрирует возможность быстрого развертывания генеративных систем помощи, когда есть хоть какой-то объем данных для обучения. Но давайте будем честны: успешное применение человеческого участия в цикле разработки – это, скорее, признание нашей неспособности создать действительно самообучающуюся систему. Всё, что обещает быть «самовосстанавливающимся», просто ещё не сломалось достаточно масштабно. А когда сломается, документация, как обычно, окажется формой коллективного самообмана.

Проблема разреженности данных остаётся ахиллесовой пятой. Retrieval-Augmented Generation – это, по сути, умение красиво упаковывать нехватку информации. И не стоит забывать, что каждая «революционная» технология завтра станет техдолгом. Продакшен всегда найдёт способ сломать элегантную теорию. Следующим шагом, вероятно, будет попытка создать системы, способные не просто «дополнять» знания, а самостоятельно выявлять и исправлять пробелы в них – но это уже область чистой веры.

И, напоследок: если баг воспроизводится – значит, у них стабильная система. И это, пожалуй, самое ценное открытие, которое можно сделать после внедрения любого AI-ассистента.

Оригинал статьи: https://arxiv.org/pdf/2511.03186.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-06 12:46