Искусственный интеллект, который спрашивает: Новый подход к планированию и обучению

Автор: Денис Аветисян

Исследователи представили систему, способную выявлять пробелы в своих знаниях и активно запрашивать информацию у человека для решения сложных задач.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Система MINT расширяет свои знания посредством взаимодействия с человеком: сначала нейронная сеть формирует запросы, затем большая языковая модель их уточняет, а полученные ответы, уменьшая разрыв в знаниях, позволяют агенту оптимизировать действия, максимизируя <span class="katex-eq" data-katex-display="false">Q_{\varphi}^{\*}(s,a)</span> для всех описателей <span class="katex-eq" data-katex-display="false">\varphi\in\Phi\_{u\_{K}}</span>. — Система MINT расширяет свои знания посредством взаимодействия с человеком: сначала нейронная сеть формирует запросы, затем большая языковая модель их уточняет, а полученные ответы, уменьшая разрыв в знаниях, позволяют агенту оптимизировать действия, максимизируя $Q_{\varphi}^{\*}(s,a)$ для всех описателей $\varphi\in\Phi\_{u\_{K}}$ .

Предложена нейро-символическая структура MINT, позволяющая агентам искусственного интеллекта эффективно взаимодействовать с людьми для восполнения пробелов в знаниях и улучшения планирования.

Неполнота информации и неопределенность целей часто становятся препятствием для эффективного совместного планирования человека и искусственного интеллекта. В данной работе, посвященной разработке фреймворка ‘MINT: Minimal Information Neuro-Symbolic Tree for Objective-Driven Knowledge-Gap Reasoning and Active Elicitation’, предложен подход, основанный на нейро-символическом дереве, позволяющий агенту активно запрашивать у человека недостающую информацию для преодоления пробелов в знаниях. Предложенный алгоритм MINT оптимизирует стратегию запросов, используя самообучение и большие языковые модели для достижения оптимальной производительности в задачах планирования. Сможет ли подобный подход обеспечить действительно эффективное взаимодействие человека и ИИ в сложных, непредсказуемых сценариях?

Неопределенность Планирования: Преодолевая Границы Знания

Традиционные алгоритмы планирования, как правило, исходят из предположения о полной осведомленности об окружающей среде, что является существенным упрощением действительности. В реальных сценариях роботы и автоматизированные системы почти всегда сталкиваются с неполнотой или неопределенностью информации о положении объектов, их свойствах или даже о конечных целях. Это несоответствие между теоретическими моделями и практической обстановкой приводит к тому, что разработанные планы оказываются неэффективными или вовсе неприменимыми в ситуациях, где реальность отклоняется от ожидаемой. Представьте себе автономный автомобиль, который полагается на идеально точную карту местности — незначительные изменения в дорожной обстановке, такие как неожиданное появление препятствия или временное изменение разметки, могут привести к серьезным ошибкам в навигации и даже к аварийным ситуациям. Поэтому, разработка алгоритмов, способных функционировать в условиях неопределенности, является ключевой задачей современной робототехники и искусственного интеллекта.

Недостаточная устойчивость традиционных алгоритмов планирования к непредвиденным обстоятельствам и неполной информации приводит к снижению эффективности и даже полному провалу выполнения задач. В ситуациях, когда реальная среда отклоняется от изначально предполагаемой модели, такие алгоритмы оказываются неспособными адаптироваться и находить оптимальные решения. Это особенно критично в динамичных и сложных системах, где появление неожиданных препятствий или изменение условий требует немедленной корректировки плана действий. Вместо этого, алгоритмы, не учитывающие возможность неопределенности, могут продолжать следовать устаревшему плану, что приводит к неэффективному использованию ресурсов, увеличению затрат и, в конечном итоге, к неудаче. Таким образом, развитие методов планирования, способных справляться с неопределенностью, является ключевой задачей современной робототехники и искусственного интеллекта.

Существование так называемого “информационного пробела” — неопределенности в отношении объектов, состояний или целей — принципиально ограничивает эффективность традиционных алгоритмов планирования. Невозможность точного определения характеристик окружающей среды или предвидения всех возможных исходов приводит к тому, что даже тщательно разработанные планы могут оказаться неработоспособными при столкновении с непредсказуемыми обстоятельствами. Этот пробел в знаниях не просто снижает точность прогнозов, но и требует от систем планирования способности адаптироваться и перестраивать свои стратегии в режиме реального времени, что значительно усложняет задачу и требует принципиально новых подходов к разработке интеллектуальных систем. Фактически, успешное функционирование в условиях неопределенности требует перехода от планирования, основанного на предположениях, к планированию, учитывающему вероятности и позволяющему гибко реагировать на изменения.

MINT: Человеческий Разум как Ключ к Планированию

MINT представляет собой нейро-символическую структуру, активно использующую метод “Человеческого опроса” (Human Elicitation) для снижения неопределенности в процессе планирования. В основе подхода лежит взаимодействие системы с человеком-оператором с целью получения недостающей информации, необходимой для построения оптимального плана действий. Вместо слепого перебора вариантов, MINT целенаправленно запрашивает у человека данные, которые с наибольшей вероятностью разрешат критические неясности и улучшат качество планирования. Это позволяет системе эффективно работать в условиях неполной информации и динамически адаптироваться к изменяющейся обстановке, избегая ошибок, возникающих при попытках самостоятельного заполнения пробелов в знаниях.

В основе MINT лежит использование ‘Символического Дерева’, представляющего собой структурированное отображение пробелов в знаниях, необходимых для планирования. Данное дерево позволяет системе выявлять наиболее критичные области неопределенности и формировать приоритетный список запросов к человеку-оператору. Приоритезация осуществляется на основе оценки потенциального влияния каждого запроса на улучшение производительности планирования — система фокусируется на получении информации, которая, как ожидается, приведет к наиболее значительному снижению неопределенности и повышению эффективности разрабатываемого плана. Это позволяет MINT целенаправленно собирать недостающие данные, избегая запроса избыточной или нерелевантной информации.

В основе функционирования MINT лежит итеративный процесс, включающий последовательные запросы к человеку-оператору, обучение модели на полученных данных и перепланирование действий. Такой подход позволяет системе адаптироваться к неполной или неопределенной информации, характерной для реальных условий. Каждая итерация снижает уровень неопределенности, уточняя план действий и повышая его надежность. В результате, MINT способна эффективно решать задачи планирования даже в ситуациях с высокой степенью неопределенности, обеспечивая устойчивость и гибкость в динамически меняющейся среде.

Метод MINT позволяет агенту адаптироваться к новым условиям в различных средах, таких как MiniGrid, Atari Pacman и Isaac Search and Rescue, формируя запросы для оценки влияния неизвестных объектов и целей на переход и вознаграждение, а также планируя действия с учетом взаимодействия с человеком и окружающей обстановкой.

LLM в Роли Проводника: Уточнение Знаний и Гарантии Производительности

В архитектуре MINT, большие языковые модели (LLM) играют ключевую роль в нескольких процессах. Они используются для формирования эффективных запросов к внешним источникам информации, что позволяет уточнять и расширять базу знаний. LLM также отвечают за объединение различных ветвей в символьном дереве, представляющем процесс планирования, и за обновление самой модели планирования на основе полученных данных. Этот процесс позволяет системе динамически адаптироваться к изменяющимся условиям и повышать точность прогнозов и принимаемых решений.

Теоретической основой производительности MINT является концепция $L$ -Липшицевой непрерывности. Данное математическое свойство гарантирует, что ухудшение качества планирования (performance degradation) будет ограничено, даже при увеличении разрыва в знаниях (knowledge gap). В частности, это означает, что существует константа $K$ , определяющая максимальное изменение в выходных данных системы при заданном изменении входных данных, связанных с недостатком информации. Таким образом, MINT обеспечивает предсказуемую и ограниченную деградацию производительности, что критически важно для надежной работы в условиях неполной информации.

В рамках MINT для оценки неопределенности в результатах планирования используется алгоритм UA-DQN (Uncertainty-Aware Deep Q-Network). Этот алгоритм позволяет системе количественно оценивать степень уверенности в выбранном плане действий, учитывая потенциальные неточности в моделировании окружающей среды и неполноту знаний. На основе оценки неопределенности, система принимает решения о необходимости сбора дополнительной информации — когда и какие именно запросы следует сформулировать для уточнения плана и снижения риска ошибки. UA-DQN, таким образом, обеспечивает адаптивное управление процессом планирования, позволяя системе эффективно использовать ресурсы для получения необходимой информации и повышения надежности принимаемых решений.

Эмпирическое Подтверждение: Успех в Разнообразных Средах

Исследования показали, что алгоритм MINT демонстрирует существенные улучшения в производительности в различных виртуальных средах. В частности, в лабиринтной среде MiniGrid и классической аркадной игре Atari Pacman, MINT превосходит существующие методы, эффективно решая задачи поиска пути и принятия решений. Эти результаты подчеркивают способность MINT адаптироваться к различным типам задач и успешно функционировать даже в сложных и динамичных условиях, что свидетельствует о его потенциале для широкого спектра применений в области искусственного интеллекта и робототехники.

Надежность разработанного метода MINT дополнительно подтверждается результатами тестирования в среде физического моделирования ‘Isaac Gym’, представляющей собой сложный сценарий поисково-спасательных операций. В данной среде, характеризующейся реалистичной физикой и динамичными условиями, MINT демонстрирует способность эффективно функционировать в условиях неполной информации и высокой сложности. Способность алгоритма адаптироваться к меняющимся обстоятельствам и точно определять местоположение объектов в симулированной среде, имитирующей реальные поисково-спасательные работы, подчеркивает его потенциал для применения в критически важных ситуациях, где требуется быстрое и точное принятие решений.

Исследования показали, что разработанный алгоритм MINT эффективно сокращает разрыв между оптимальным и фактическим результатом — так называемый ‘Return Gap’ — даже в условиях неполной информации. Данное свойство позволяет системе демонстрировать производительность, приближающуюся к уровню экспертов в различных задачах. Алгоритм успешно минимизирует потери, связанные с недостатком данных, что особенно важно в реальных сценариях, где полная информация недоступна. В ходе экспериментов было зафиксировано значительное улучшение показателей в сложных средах, подтверждающее способность MINT к адаптации и эффективному принятию решений.

В ходе экспериментов было установлено, что MINT достигает высокой эффективности, требуя для определения каждого объекта всего 1-3 бинарных вопроса. Этот крайне экономный процесс извлечения информации свидетельствует о способности MINT быстро и точно уточнять свои знания, используя минимальное количество взаимодействий. Такая эффективность особенно важна в ситуациях, когда получение информации ограничено или требует значительных затрат, позволяя MINT эффективно решать задачи даже при ограниченных ресурсах. Полученные данные подчеркивают, что MINT не просто достигает высоких результатов, но и делает это с минимальными затратами на сбор необходимой информации, что делает его перспективным решением для широкого спектра задач, требующих активного обучения и принятия решений.

Исследования показали, что алгоритм MINT демонстрирует существенное снижение неопределенности уже после 1-2 запросов в среде MiniGrid. Это указывает на высокую эффективность обучения на основе обратной связи от человека. В процессе взаимодействия с агентом, даже минимальное количество уточняющих вопросов позволяет MINT быстро адаптироваться и уточнять понимание окружающей среды. Такая способность к быстрому обучению особенно ценна в ситуациях, когда получение полной информации затруднено или требует значительных затрат. Результаты свидетельствуют о том, что MINT способен эффективно использовать ограниченные ресурсы обратной связи для достижения оптимальной производительности и снижения рисков, связанных с неполной информацией.

В данной работе для экспериментов использовались среды MiniGrid, Atari Pacman и NVIDIA Isaac, демонстрирующая как общий вид, так и пример обзора с дрона.

Исследование представляет собой своего рода вскрытие «чёрного ящика» искусственного интеллекта, где любопытство к пробелам в знаниях превалирует над аккуратностью формализации. Авторы предлагают систему MINT, которая не просто планирует, но и активно запрашивает недостающую информацию у человека. Этот подход напоминает о словах Анри Пуанкаре: «Наука не состоит из цепи, а из паутины». Подобно тому, как паутина сплетается из множества нитей, система MINT объединяет нейро-символические методы и взаимодействие с человеком, чтобы заполнить пробелы в знаниях и достичь более эффективного решения задач. Именно через активное вовлечение человека и преодоление неопределенности система демонстрирует свою способность к адаптации и обучению.

Что дальше?

Представленная работа, несомненно, открывает новые пути в симбиозе нейро-символического искусственного интеллекта и человеческого разума. Однако, как показывает опыт, любое «решение» порождает лишь новые вопросы. Построение MINT — это, скорее, демонстрация принципиальной возможности активного выявления и преодоления пробелов в знаниях, нежели окончательный ответ. Остается нерешенной проблема масштабируемости: как эффективно применять данный подход к задачам, требующим значительно больших объемов знаний и более сложных стратегий планирования?

Более того, стоит задуматься о природе самих знаний, которые система стремится «заполнить». Не является ли активное «вытягивание» информации у человека лишь заменой одного типа когнитивной нагрузки на другой? Не рискует ли система создать иллюзию понимания, опираясь на поверхностные ответы, вместо глубокого осмысления проблемной области? В конечном счете, успех MINT, как и любого подобного подхода, будет зависеть не только от технической реализации, но и от способности системы адекватно оценивать достоверность и релевантность получаемых знаний.

Поэтому, дальнейшие исследования должны быть направлены не только на оптимизацию алгоритмов активного опроса, но и на разработку более эффективных методов представления и проверки знаний. Иначе, мы рискуем создать искусственный интеллект, который умеет лишь имитировать понимание, оставаясь в конечном счете, сложным, но всё же лишь инструментом.

Оригинал статьи: https://arxiv.org/pdf/2602.05048.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-08 14:59