Искусственный интеллект, понимающий других: Моделирование «внутреннего мира»

Автор: Денис Аветисян

Обзор посвящен развитию искусственного интеллекта, способного не только взаимодействовать с физическим миром, но и понимать намерения, эмоции и убеждения людей.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Предлагается концептуальная структура модели «ментального мира» для воплощенных агентов искусственного интеллекта, в которой разграничиваются понятия «мировой модели», «физической мировой модели» и «ментальной мировой модели», что позволяет систематизировать подходы к построению подобных систем и их взаимодействию с окружающей средой.

Исследование текущего состояния и перспектив моделирования «внутреннего мира» для воплощенного искусственного интеллекта, включая мультимодальное рассуждение и нейро-символические подходы.

Недостаточное понимание когнитивных процессов человека ограничивает возможности создания действительно интеллектуальных агентов, способных к эффективному взаимодействию в социуме. В настоящем обзоре, ‘Modeling the Mental World for Embodied AI: A Comprehensive Review’, систематизированы более 100 исследований, посвященных моделированию «ментального мира» — структурированного представления внутренних состояний человека, необходимого для развития социального интеллекта у воплощенных ИИ. Работа выявляет ключевые проблемы в данной области, включая размытые границы между моделями физического и ментального миров, а также предлагает комплексную теоретическую базу и анализ существующих подходов к моделированию «теории разума». Сможет ли интеграция нейро-символических архитектур и развитие эталонных наборов данных приблизить нас к созданию ИИ, способного к полноценному и естественному взаимодействию с человеком?

Постижение Социального Интеллекта: От Теории к Практике

Успешное взаимодействие в социальных ситуациях неразрывно связано с так называемой «теорией разума» — способностью понимать ментальные состояния других людей. Данная когнитивная функция позволяет прогнозировать поведение окружающих, интерпретировать их действия и эмоции, а также адаптироваться к сложным социальным контекстам. По сути, «теория разума» представляет собой механизм, благодаря которому человек способен приписывать другим лицам убеждения, желания и намерения, отличные от собственных, и учитывать эти представления при построении коммуникации и принятии решений. Без способности к эмпатии и пониманию внутренних состояний других, эффективное социальное взаимодействие становится крайне затруднительным, что подчеркивает важность данной функции в повседневной жизни и сложных социальных процессах.

Традиционные подходы в искусственном интеллекте испытывают значительные трудности при моделировании интуитивного понимания, необходимого для успешного социального взаимодействия. В отличие от людей, способных легко определять убеждения, желания и намерения других, современные алгоритмы, как правило, лишены возможности репрезентировать и выводить подобные ментальные состояния. Эта неспособность к построению “теории разума” ограничивает возможности ИИ в предсказании поведения, интерпретации действий и адекватном реагировании на социальные сигналы, что существенно замедляет создание по-настоящему интеллектуальных и адаптивных искусственных агентов, способных к полноценному взаимодействию с людьми и друг с другом.

Ограниченность понимания социальных нюансов существенно замедляет прогресс в создании по-настоящему интеллектуальных и адаптивных искусственных агентов. Современные системы искусственного интеллекта, несмотря на впечатляющие успехи в обработке данных и решении узкоспециализированных задач, часто демонстрируют неспособность к гибкому реагированию в сложных социальных взаимодействиях. Отсутствие у них способности моделировать убеждения, желания и намерения других участников коммуникации приводит к неадекватным реакциям и затрудняет построение эффективного сотрудничества. Таким образом, преодоление этого разрыва в социальном понимании является ключевой задачей для создания искусственного интеллекта, способного не просто выполнять команды, но и полноценно взаимодействовать с людьми в реальном мире, предвидя их поведение и адаптируясь к изменяющимся обстоятельствам.

Разработанная платформа для воплощенного ИИ, основанная на больших языковых и визуальных моделях <span class="katex-eq" data-katex-display="false"> ext{LLM/VLM}</span>, позволяет агенту рассуждать и планировать, опираясь на принципы теории разума, сформированные на основе человеческого языка и визуальных данных. — Разработанная платформа для воплощенного ИИ, основанная на больших языковых и визуальных моделях $ext{LLM/VLM}$ , позволяет агенту рассуждать и планировать, опираясь на принципы теории разума, сформированные на основе человеческого языка и визуальных данных.

Моделирование Ментального Мира: Путь к Истинному Пониманию

Модели ментального мира представляют собой структурированный подход к представлению и рассуждению о ментальных состояниях других агентов, опираясь на концептуальную базу теории разума (Theory of Mind). В отличие от простого атрибутирования намерений, эти модели стремятся к формальному представлению убеждений, желаний и намерений (Belief-Desire-Intention — BDI) с целью предсказания поведения и объяснения действий. Они позволяют не только моделировать, что другой агент знает или считает, но и как эти знания и убеждения влияют на его принятие решений. В основе построения таких моделей лежит представление о ментальных состояниях как о вычислительных структурах, которые могут быть обработаны и использованы для планирования и прогнозирования.

Моделирование ментального мира требует интеграции представлений как об окружающей физической среде (PhysicalWorldModel), так и о внутренних состояниях агентов. Взаимосвязь между восприятием и когнитивными процессами предполагает, что понимание физического мира напрямую влияет на интерпретацию ментальных состояний, и наоборот. Для адекватного моделирования необходимо учитывать, что агенты не просто реагируют на внешние стимулы, но и формируют внутреннюю репрезентацию окружающей действительности, которая служит основой для прогнозирования поведения других агентов и принятия собственных решений. Таким образом, PhysicalWorldModel служит контекстом для интерпретации действий и намерений, а моделирование внутренних состояний агентов позволяет предсказывать их дальнейшие действия на основе их убеждений и целей.

Для успешной реализации моделей ментального мира необходимо использование методов, позволяющих учитывать неопределенность и неполноту информации, в частности, частично наблюдаемые марковские процессы принятия решений (POMDP). POMDP предоставляют математический аппарат для моделирования агентов, чьи наблюдения о состоянии окружающей среды и других агентов являются неполными. В рамках POMDP, агент поддерживает верование о текущем состоянии, которое обновляется на основе наблюдаемых данных и модели динамики среды. Процесс принятия решений в POMDP включает в себя выбор действий, максимизирующих ожидаемую награду с учетом этого верования. $\mathbb{P}(s'|s,a)$ определяет вероятность перехода в состояние $s'$ из состояния $s$ при выполнении действия $a$ . Использование POMDP позволяет разрабатывать агентов, способных эффективно действовать в условиях неполной информации и неопределенности, что критически важно для моделирования реалистичного поведения в ментальных моделях.

Представление вероятных зависимостей между переменными состояния в моделях физического и ментального миров позволяет установить взаимосвязь между ними.

Сквозь Призму Гибридных Архитектур: К Надежному Рассуждению

Нейро-символические гибридные архитектуры представляют собой интеграцию нейронных сетей и символьного рассуждения, направленную на создание более надежных и интерпретируемых систем искусственного интеллекта. Нейронные сети эффективно обрабатывают неструктурированные данные и выполняют задачи распознавания образов, в то время как символьное рассуждение обеспечивает логическую последовательность и возможность объяснения принимаемых решений. Комбинирование этих подходов позволяет преодолеть ограничения каждого из них по отдельности: нейронные сети часто подвержены ошибкам при незначительных изменениях входных данных, а символьное рассуждение требует ручного создания и поддержки баз знаний. Гибридные архитектуры стремятся объединить преимущества обоих подходов, повышая общую надежность и обеспечивая возможность проверки и отладки системы.

Гибридный подход, основанный на концепции Дуальной Когнитивной Системы, использует скорость нейронных сетей для обработки перцептивных данных и извлечения признаков, в то время как точность символьного рассуждения применяется для логического вывода и принятия решений. Нейронные сети эффективно справляются с задачами распознавания образов и классификации, обеспечивая быстрое получение информации из неструктурированных данных. Символьные системы, напротив, обеспечивают формальную логику и возможность представления знаний в виде правил и фактов, что позволяет проводить дедуктивные рассуждения и обеспечивать прозрачность процесса принятия решений. Такое разделение функциональности позволяет объединить преимущества обоих подходов, преодолевая ограничения, присущие каждой из систем по отдельности.

Байесовский вывод позволяет гибридным нейро-символическим архитектурам формализовать процесс обновления убеждений на основе поступающих данных. В рамках этого подхода, каждое утверждение представляется как вероятность, а новые свидетельства используются для пересчета этих вероятностей посредством $P(A|B) = \frac{P(B|A)P(A)}{P(B)}$ , где $P(A|B)$ — апостериорная вероятность утверждения A при условии B, $P(B|A)$ — правдоподобие, $P(A)$ — априорная вероятность, а $P(B)$ — вероятность свидетельства B. Применение байесовского вывода обеспечивает систематический и количественный способ интеграции новой информации, повышая надежность и адаптивность системы к изменяющимся условиям и неопределенности.

Представленная трехэтапная вероятностная модель позволяет разложить стандартные методы вывода, основанные на теории разума, на отдельные компоненты для более детального анализа.

Оценка Прогресса: От Простых Убеждений к Сложным Взаимодействиям

Первоначальные эталоны оценки способности к пониманию чужих убеждений, такие как ToMiBenchmark, заложили основу для изучения теории разума, однако существенно уступали реальным взаимодействиям по своей сложности. Эти ранние тесты, как правило, оперировали упрощенными сценариями и абстрактными ситуациями, что ограничивало их способность отразить многогранность человеческого социального познания. В то время как ToMiBenchmark успешно продемонстрировал возможность формального тестирования базовых аспектов теории разума, он не учитывал динамику реальных социальных ситуаций, где восприятие, невербальные сигналы и контекст играют решающую роль. Это привело к необходимости разработки более сложных эталонов, способных оценивать способность моделей к пониманию убеждений в контексте динамичного и многомерного взаимодействия, что и стало отправной точкой для создания последующих тестов, таких как GridToM и HiToMBenchmark.

Современные эталоны оценки способности к теории разума, такие как GridToM, HiToMBenchmark и MuMAToM, значительно расширяют границы тестирования, вводя динамичные среды и мультимодальные данные. В отличие от более ранних тестов, ограничивавшихся упрощенными сценариями, эти новые эталоны требуют от моделей не просто вывода намерений, но и понимания взаимодействий в изменяющихся ситуациях, учитывая визуальную информацию, текстовые описания и даже звуковые сигналы. Такой подход позволяет более реалистично оценить способность искусственного интеллекта к моделированию ментальных состояний других агентов и предсказанию их поведения в сложных социальных контекстах, приближая исследования к задачам, с которыми сталкивается человек в реальном мире.

Современные большие мультимодальные модели (LMM) демонстрируют существенный разрыв в производительности по сравнению с человеком при оценке на бенчмарках, таких как MuMAToM. Анализ показывает, что отставание составляет 40,1% при оценке от первого лица и 26,4% — от третьего. Данные результаты указывают на необходимость дальнейших исследований и усовершенствований в области понимания и моделирования теории разума искусственным интеллектом. Особенно важно улучшить способность LMM к интерпретации ситуаций с точки зрения другого агента и прогнозированию его действий, что является ключевым аспектом социального интеллекта и эффективного взаимодействия.

AutoToM[86] автоматически подбирает модели агентов для типичных наборов данных, предназначенных для оценки теории разума (ToM).

Будущее Социально-Интеллектуального ИИ: Путь к Гармонии Разума и Машины

Использование больших языковых моделей (LLM) и моделей, объединяющих зрение и язык (VLM), в рамках концепции “Моделей мира” открывает принципиально новые возможности для многомодального рассуждения. Такой подход позволяет искусственному интеллекту не просто обрабатывать информацию из различных источников — текст и изображения — но и интегрировать ее, формируя более полное и контекстуально-обоснованное понимание окружающей действительности. Интеграция LLM и VLM внутри “Модели мира” позволяет системе предсказывать последствия действий, понимать намерения других агентов и адаптироваться к изменяющимся обстоятельствам, приближая ее к уровню социального интеллекта, свойственного человеку. Это особенно важно для задач, требующих понимания неявных сигналов и контекста, например, в сфере взаимодействия человека и робота или анализа социальных ситуаций.

Принцип предсказательного кодирования представляет собой мощную основу для создания адаптивных и эффективных моделей искусственного интеллекта, способных непрерывно обновлять свое понимание окружающего мира. В основе этой концепции лежит идея о том, что мозг постоянно генерирует прогнозы относительно входящих сенсорных данных, а затем сравнивает эти прогнозы с фактическими данными. Расхождение между предсказанием и реальностью — так называемая «ошибка предсказания» — используется для корректировки модели и улучшения ее способности предсказывать будущие события. Этот процесс позволяет системам не только реагировать на изменения в окружающей среде, но и активно предвидеть их, что значительно повышает эффективность и гибкость работы. Использование предсказательного кодирования позволяет создавать модели, которые учатся на основе ошибок, а не просто запоминают данные, что делает их более устойчивыми к шуму и неопределенности, и, как следствие, способными к более сложному и контекстуальному взаимодействию с миром.

Для достижения действительно социально-интеллектуального искусственного интеллекта необходима непрерывная работа над двумя взаимосвязанными направлениями: разработкой новых архитектур и созданием сложных эталонов оценки. Новые архитектуры позволят системам эффективнее обрабатывать и понимать нюансы социального взаимодействия, а сложные эталоны, включающие реалистичные сценарии и неоднозначные ситуации, проверят и улучшат их способности. Ключевую роль в этом процессе играет эффективное проектирование запросов — Prompt Engineering, позволяющее точно формулировать задачи и направлять системы к оптимальным решениям. Сочетание инновационных архитектур, строгих критериев оценки и мастерства в разработке запросов представляется необходимым условием для создания ИИ, способного не просто понимать, но и эффективно взаимодействовать с человеком в социальной среде.

Исследование, представленное в данной работе, демонстрирует переход от моделирования физического мира к построению моделей ментального мира для воплощенного искусственного интеллекта. Этот сдвиг требует от систем не просто реагировать на окружающую среду, но и понимать намерения, убеждения и эмоции других агентов. Как однажды заметил Линус Торвальдс: «Я думаю, что если бы у нас был лучший инструмент для понимания, мы бы смогли писать лучший код». Эта фраза отражает суть проблемы: для создания действительно разумного ИИ необходимы инструменты, позволяющие не только обрабатывать информацию, но и моделировать сложные ментальные состояния, что, в свою очередь, требует глубокого понимания принципов социального взаимодействия и теории разума. Построение адекватной модели ментального мира — задача сложная, но необходимая для развития воплощенного ИИ, способного к эффективному взаимодействию с людьми.

Что же дальше?

Представленные в обзоре модели мира, ориентированные на воплощенный искусственный интеллект, неизбежно столкнутся с той же участью, что и все архитектуры — старением. Стремление к созданию систем, способных к моделированию “теории разума”, обнажает фундаментальную проблему: каждая попытка зафиксировать сложную динамику социального взаимодействия обречена на упрощение. Улучшения в области мультимодального рассуждения и нейро-символического искусственного интеллекта будут появляться и исчезать, словно волны, не задерживаясь достаточно долго, чтобы полностью изменить ландшафт.

Акцент на бенчмарк-датасетах, несомненно, важен для количественной оценки прогресса, однако истинное испытание заключается в способности системы адаптироваться к непредсказуемости реального мира. Попытки создать “идеальную” модель разума, вероятно, упустят из виду суть: разум — это не статичная структура, а постоянно развивающийся процесс. Вместо того, чтобы стремиться к окончательному решению, необходимо признать, что каждая архитектура проживает свою жизнь, а мы лишь свидетели её трансформации.

Будущие исследования, вероятно, будут сосредоточены на создании систем, способных к обучению на протяжении всей жизни и к адаптации к новым ситуациям без необходимости переобучения. Однако, стоит помнить, что даже самые передовые технологии — лишь временные инструменты в бесконечном цикле эволюции систем. Время — не метрика, а среда, в которой эти системы существуют и, в конечном итоге, угасают.

Оригинал статьи: https://arxiv.org/pdf/2601.02378.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-07 15:29