По движениям — о мыслях: новый тест для искусственного интеллекта

Автор: Денис Аветисян

Исследователи представили комплексную систему оценки, позволяющую проверить, насколько хорошо ИИ способен понимать чужие намерения по языку тела.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Набор данных Motion2Mind, состоящий из 497 часов видеоматериалов, отобранных из различных источников, включая ситкомы и реалити-шоу, был создан с использованием автоматической генерации начальных подписей моделью Qwen2.5-32B-VL-Instruct, последующей фильтрацией на основе словаря языка тела и ручной доработкой аннотаторами для обеспечения точной связи между визуальными сигналами и их психологической интерпретацией в контексте сцены.

В статье представлена методика Motion2Mind для оценки способности моделей искусственного интеллекта к пониманию невербальных сигналов и интерпретации ментальных состояний, демонстрирующая существенные отставания текущих систем от человеческого уровня.

Несмотря на фундаментальную роль невербальной коммуникации в социальном взаимодействии, существующие тесты на теорию разума (ToM) часто упускают из виду интерпретацию языка тела. В статье ‘Mind the Motions: Benchmarking Theory-of-Mind in Everyday Body Language’ представлена новая платформа Motion2Mind, предназначенная для оценки способности машин понимать ментальные состояния по невербальным сигналам. Результаты показывают, что современные ИИ-системы значительно уступают людям в интерпретации языка тела, демонстрируя как проблемы с обнаружением сигналов, так и склонность к излишней интерпретации. Способны ли мы разработать ИИ, способный по-настоящему «читать» между строк невербального поведения?

Безмолвный язык: задача понимания невербального общения

Люди обладают удивительной способностью понимать намерения и эмоциональное состояние других, опираясь на едва уловимые невербальные сигналы — выражение лица, тон голоса, язык тела. Эта способность, являющаяся ключевым компонентом социальной компетентности, позволяет успешно ориентироваться в сложных социальных взаимодействиях и предсказывать поведение окружающих. Например, даже мимолетное изменение выражения лица может дать представление о скрытых чувствах или намерениях, позволяя человеку быстро адаптироваться к ситуации и выстроить соответствующую реакцию. Именно эта интуитивная способность к расшифровке невербальной коммуникации лежит в основе эмпатии, доверия и эффективного сотрудничества, формируя основу социальных связей и определяя успех в межличностных отношениях.

Современные системы искусственного интеллекта испытывают значительные трудности в освоении так называемой “теории разума” — способности понимать намерения, убеждения и эмоции других, основываясь на их поведении и невербальных сигналах. Это ограничение существенно сдерживает потенциал ИИ для естественного взаимодействия с людьми. В отличие от человека, который интуитивно распознает нюансы в мимике, жестах и тоне голоса, машины зачастую не способны правильно интерпретировать эти сигналы, что приводит к неадекватным реакциям и затрудняет установление эффективной коммуникации. Отсутствие «теории разума» делает ИИ уязвимым к манипуляциям и неспособным предвидеть действия человека, что критически важно для успешного сотрудничества и полноценного социального взаимодействия.

Точное распознавание невербальной коммуникации представляет собой сложную задачу для машинного обучения, поскольку требует учета контекста и способности различать тончайшие сигналы. В отличие от человека, который интуитивно оценивает ситуацию и мимику собеседника, алгоритмам необходимо обучиться на огромном количестве данных, чтобы понять, как изменение выражения лица, тон голоса или даже поза тела могут указывать на скрытые намерения или эмоциональное состояние. Проблема усугубляется тем, что невербальные сигналы часто неоднозначны и зависят от культурных особенностей, что требует от искусственного интеллекта не только распознавания отдельных признаков, но и их интерпретации в конкретном контексте взаимодействия. Таким образом, создание алгоритмов, способных к адекватному пониманию невербальной коммуникации, является ключевым шагом на пути к созданию действительно интеллектуальных и социально компетентных машин.

Исследование выявило, что, несмотря на сопоставимое с человеческим понимание психологического смысла невербальных сигналов (Knowledge), современные языковые модели значительно уступают людям в обнаружении и интерпретации этих сигналов в контексте (Detection и Explanation).

Motion2Mind: Стандартизация оценки социального интеллекта ИИ

Motion2Mind представляет собой стандартизированный подход к оценке способности искусственного интеллекта интерпретировать невербальные сигналы и делать выводы о ментальных состояниях. В отличие от существующих методов, часто фокусирующихся на распознавании эмоций по статичным изображениям, Motion2Mind использует видеоданные, что позволяет учитывать динамику движений и контекст, необходимые для точной интерпретации социальных сигналов. Эта методология направлена на количественную оценку способности ИИ понимать намерения, убеждения и чувства других людей, основываясь на анализе языка тела, мимики и других невербальных проявлений. Стандартизация процесса оценки позволяет сравнивать различные модели ИИ и отслеживать прогресс в области искусственного социального интеллекта.

В основе Motion2Mind лежит использование тщательно разработанного “Словаря языка тела” и полагается на аннотации, выполненные людьми, для установления эталонных данных, необходимых для оценки производительности моделей. Для обеспечения надежности и объективности, был проведен анализ согласованности между аннотаторами, который показал коэффициент Коэна $κ$ равный 0.79 при оценке 100 элементов. Этот показатель свидетельствует о достаточно высокой степени согласованности между экспертами и подтверждает валидность используемого эталона для оценки способностей моделей к интерпретации невербальных сигналов.

Первоначальная оценка набора данных Motion2Mind показала, что только 35% образцов успешно классифицируются после ручной проверки, что подтверждает его сложность и высокое качество для оценки искусственного интеллекта. Использование видеоанализа в качестве основы для оценки обеспечивает более полную и реалистичную проверку социального интеллекта по сравнению с использованием статических изображений, поскольку позволяет учитывать динамические аспекты невербальной коммуникации и контекстуальные изменения во времени. Такой подход позволяет более точно оценить способность ИИ интерпретировать социальные сигналы в естественных условиях.

Добавление схожих невербальных сигналов в диалог снижает вероятность того, что модели ошибочно признают части тела недействительными, что особенно заметно для наиболее точно определяемых участков (оранжевый цвет) и менее точных (зеленый цвет).

От обнаружения к объяснению: контекст невербального общения

Интерпретация невербальной коммуникации (НВК) представляет собой не просто фиксацию движений или выражений, а, главным образом, установление психологического состояния, лежащего в их основе. Процесс анализа НВК требует перехода от констатации факта наличия сигнала к пониманию его мотивации и эмоциональной окраски. Обнаружение движения само по себе не предоставляет информации о чувствах или намерениях человека; необходимо оценить контекст и другие сигналы для построения правдоподобной интерпретации. Таким образом, ключевой задачей является не регистрация внешних проявлений, а объяснение внутренних психологических состояний, которые эти проявления отражают.

Точная интерпретация невербальных сигналов требует учета контекста, поскольку естественное поведение человека характеризуется нюансами и неоднозначностью. Оценка жестов, мимики и других невербальных проявлений не может быть изолированной; необходимо анализировать ситуацию, культурные особенности и индивидуальные различия. Например, скрещенные руки могут интерпретироваться как защитная реакция, но в прохладном помещении это может быть просто способ согреться. Игнорирование контекста приводит к ошибочным выводам о психологическом состоянии собеседника и снижает надежность интерпретации невербальной коммуникации.

Распознавание “недействительных сигналов” — невербальных проявлений, не несущих чёткой психологической информации — является критически важным для избежания ошибочных интерпретаций и обеспечения надёжных выводов. В задачах по объяснению невербального поведения, эксперты-люди демонстрируют точность на уровне 89%. Современные большие языковые модели (LLM) показывают значительно более низкие результаты в решении аналогичных задач, что указывает на сложность точной интерпретации невербальных сигналов и необходимость учёта контекста и валидности этих сигналов.

Модель GPT-O1 демонстрирует ошибки в бинарном определении и объяснении, проявляющиеся как в неспособности распознать очевидные признаки, так и в неверной интерпретации нейтральных сигналов как психологически значимых.

Большие языковые модели и будущее социально осознанного ИИ

Современные большие языковые модели, такие как GPT-4o и Qwen2.5, демонстрируют впечатляющий прогресс в способности интерпретировать ментальные состояния, основываясь на невербальных сигналах. Исследования показывают, что эти модели способны анализировать контекст и выводить эмоциональное состояние или намерения, проявляющиеся в мимике, жестах или тоне голоса. Хотя точность пока уступает человеческим экспертам, способность LLM к распознаванию и пониманию невербальной коммуникации открывает новые возможности для создания более эмпатичных и социально осознанных искусственных интеллектов, способных взаимодействовать с людьми на более глубоком и естественном уровне. Это особенно важно для развития приложений в области психологии, образования и обслуживания клиентов, где понимание эмоционального состояния собеседника играет ключевую роль.

Исследования показывают существенный разрыв в способности современных больших языковых моделей интерпретировать поведение человека по сравнению с экспертами-людьми. В то время как специалисты в области психологии и анализа невербального поведения демонстрируют 89% точности при объяснении мотивов и состояний, основанных на наблюдаемых сигналах, передовые модели, такие как GPT-4o, достигают лишь 45.0%. Более мощная модель Qwen2.5-32B показывает лучшие результаты, достигая 65.5%, однако и этот показатель значительно уступает экспертному уровню. Данный разрыв подчеркивает сложность задачи понимания человеческих намерений и эмоционального состояния, требующую от искусственного интеллекта не только обработки информации, но и способности к эмпатии и контекстуальному мышлению.

Современные языковые модели, такие как GPT-4o и Qwen2.5, используют так называемые “семантические вложения” — сложные векторные представления, позволяющие кодировать контекстуальную информацию и нюансы значения. Эти вложения, по сути, преобразуют слова и фразы в числовые векторы, отражающие их смысловую близость и отношения друг к другу. Благодаря этому модели способны не просто распознавать слова, но и понимать их значение в конкретном контексте, что критически важно для интерпретации невербальных сигналов и выявления ментальных состояний. Использование семантических вложений позволяет значительно повысить точность анализа и приблизить возможности искусственного интеллекта к человеческому пониманию сложных социальных взаимодействий, несмотря на существующий разрыв в производительности по сравнению с экспертами-людьми.

Тестирование больших языковых моделей (GPT, Claude, Qwen2.5-Instruct) показало, что их знания в области невербальной коммуникации сопоставимы, а иногда и превосходят знания экспертов-психологов.

Представленная работа, исследующая способность искусственного интеллекта понимать невербальные сигналы, словно раскрывает бездну между машинным анализом и человеческим восприятием. Модель Motion2Mind, стремясь зафиксировать тончайшие нюансы языка тела, обнажает существенные пробелы в текущих возможностях ИИ. В этом контексте вспоминается высказывание Блеза Паскаля: «Всякое величие есть род безумия». Стремление создать искусственный интеллект, способный к эмпатии и пониманию чужих намерений, граничит с дерзкой попыткой воспроизвести сложность человеческой психики, и неизбежно сталкивается с ограничениями, особенно когда речь заходит о понимании таких эфемерных вещей, как язык тела и теория разума. Идеальная архитектура, способная полностью имитировать человеческое понимание, остается недостижимым горизонтом.

Что дальше?

Представленный здесь фреймворк, Motion2Mind, скорее диагностирует болезнь, чем предлагает лекарство. Он обнажает зияющие провалы в способности современных систем понимать невербальные сигналы — не просто распознавать движения, но и экстраполировать намерения, эмоции, убеждения, скрытые за ними. Каждый новый деплой, каждая заявленная «проницательность» модели — лишь напоминание о том, насколько далеко мы от истинного понимания.

Проблема не в недостатке данных или вычислительной мощности. Проблема в самой архитектуре, в стремлении построить интеллект, а не взрастить его. Системы, претендующие на «теорию разума», оказываются лишь искуссными имитаторами, способными воспроизводить паттерны, но не способными к подлинной эмпатии или предвидению. Следующим шагом видится не создание более сложных моделей, а переосмысление самой парадигмы — отказ от жестких структур в пользу адаптивных, самоорганизующихся систем, способных к обучению на протяжении всей жизни.

Документация об этих пророчествах, конечно, не ведется. Кто станет фиксировать детали неминуемого краха, когда каждая новая функция — это лишь приближение к точке сингулярности, где предсказуемость сменяется хаосом? Остается лишь наблюдать, как созданные нами системы, демонстрируя иллюзию понимания, приближают момент, когда они поймут нас слишком хорошо — или совсем перестанут понимать.

Оригинал статьи: https://arxiv.org/pdf/2511.15887.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-23 13:05