Нейросети учатся на мыслях: обратная связь от мозга для обучения агентов

Автор: Денис Аветисян

Новое исследование демонстрирует возможность использования данных функциональной ближней инфракрасной спектроскопии (fNIRS) для оценки эффективности работы искусственного интеллекта и создания систем обучения на основе неявной нейрообратной связи.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Исследование демонстрирует высокую степень корреляции между сигналами фНрИ и показателями производительности наблюдателей при пассивном наблюдении за роботом, что подтверждается низкими значениями среднеквадратичной ошибки ($MSE$) и высокими значениями коэффициента детерминации ($R^2$), указывающими на успешное предсказание непрерывной метрики производительности на основе нейрофизиологических данных.

В статье показана возможность классификации уровней производительности агента на основе сигналов fNIRS, открывая путь к обучению с подкреплением, основанному на сигналах мозга.

Несмотря на успехи обучения с подкреплением на основе обратной связи от человека, получение явных оценок требует значительных когнитивных усилий. В работе «Mapping fNIRS Signals to Agent Performance: Toward Reinforcement Learning from Neural Feedback» представлен новый подход, использующий неинвазивную функциональную ближнюю инфракрасную спектроскопию (fNIRS) для оценки производительности агента на основе неявных нейронных сигналов. Авторы демонстрируют возможность классификации уровней производительности агента и предсказания отклонений от оптимальной политики, достигая среднего F1-счета в 67% для бинарной классификации. Может ли этот метод заложить основу для создания систем обучения с подкреплением, управляемых непосредственно мозговой активностью, и открыть новые перспективы для взаимодействия человека и искусственного интеллекта?

Взлом Сознания: Постановка Проблемы Согласования Агентов

Агенты, обученные с использованием обучения с подкреплением, часто демонстрируют ограниченную способность к обобщению полученных навыков за пределы изначально заданных тренировочных сред. Данное ограничение выявляет серьезную проблему согласования — расхождение между намерениями разработчиков и фактическим поведением агента в новых, непредсказуемых ситуациях. Неспособность эффективно адаптироваться к незнакомым условиям может привести к нежелательным или даже опасным последствиям, особенно в контексте сложных систем, таких как автономные транспортные средства или роботы-помощники. В связи с этим, разработка методов, позволяющих агентам надежно и предсказуемо функционировать в широком спектре сценариев, является одной из ключевых задач современной науки об искусственном интеллекте и требует глубокого понимания механизмов обобщения и переноса знаний.

Традиционные методы обучения с подкреплением часто опираются на явные вознаграждения, однако такая система может оказаться неэффективной при взаимодействии с задачами, отражающими сложные человеческие предпочтения. Проблема заключается в том, что четкое определение $reward$ функции для многих реальных сценариев оказывается крайне затруднительным, а предоставление исчерпывающего набора правил может привести к нежелательному поведению агента, оптимизирующего только заданные параметры. В частности, явные вознаграждения часто бывают разреженными — то есть, агент получает сигнал об успехе лишь в редких случаях, что замедляет процесс обучения. Более того, даже при наличии явных вознаграждений, они могут не полностью отражать истинные намерения человека, что приводит к несовпадению целей и, как следствие, к непредсказуемым и нежелательным действиям со стороны агента.

Понимание и использование неявной обратной связи от человека представляется ключевым фактором для создания более надежных и адаптивных агентов. В отличие от явных наград, которые часто бывают разреженными или не полностью отражают сложные человеческие предпочтения, неявные сигналы — например, исправления действий агента, демонстрации предпочтительного поведения или даже невербальные реакции — содержат богатую информацию о желаемом результате. Изучение и интерпретация этих сигналов позволяет агентам учиться, корректируя свою стратегию, даже без четких указаний, что значительно повышает их способность к обобщению и адаптации к новым, непредсказуемым ситуациям. Эффективное использование неявной обратной связи открывает путь к созданию агентов, которые не просто выполняют поставленные задачи, но и предвосхищают намерения человека, что делает взаимодействие с ними более интуитивным и продуктивным.

Существующие методы сбора неявной обратной связи, такие как анализ действий пользователя или отслеживание взгляда, часто сталкиваются с серьезными ограничениями при масштабировании для сложных задач и больших объемов данных. Они требуют значительных вычислительных ресурсов для обработки и интерпретации, а также могут быть подвержены шуму и неточностям. Интеграция этой неявной информации непосредственно в процесс обучения агента представляет собой дополнительную сложность, поскольку требует разработки алгоритмов, способных эффективно использовать разрозненные и неоднозначные сигналы. Более того, традиционные подходы часто не учитывают контекст и намерения пользователя, что приводит к неоптимальным результатам и затрудняет создание действительно адаптируемых и отзывчивых интеллектуальных систем. Таким образом, разработка более эффективных и масштабируемых методов сбора и использования неявной обратной связи остается ключевой задачей для создания интеллектуальных агентов, способных понимать и соответствовать сложным человеческим предпочтениям.

Предложенная схема NEURO-LOOP решает задачу нейронной классификации для применения в разработанном конвейере обработки данных.

Нейро-Петля: Мост Между Мозгом и Обучением Агента

NEURO-LOOP представляет собой новую систему, использующую функциональную ближнюю инфракрасную спектроскопию (фНИРС) для регистрации неявной обратной связи от операторов-людей. фНИРС измеряет активность префронтальной коры, что позволяет получать данные о когнитивных процессах, связанных с принятием решений и оценкой задач. Система обеспечивает неинвазивный и относительно недорогой метод регистрации активности мозга с высоким временным разрешением, позволяя отслеживать изменения в нейрофизиологической активности в режиме реального времени. Полученные данные используются для формирования сигнала обратной связи, который направляет процесс обучения агента, создавая замкнутый контур взаимодействия между мозгом человека и искусственным интеллектом.

Функциональная ближняя инфракрасная спектроскопия (фНИРС) регистрирует изменения в оксигенации крови в коре префронтальной области мозга, что позволяет косвенно оценивать нейронную активность. Префронтальная кора играет ключевую роль в процессах принятия решений, планирования, рабочей памяти и оценки результатов действий. Измеряя активность в этой области, фНИРС предоставляет информацию о когнитивных процессах, происходящих во время выполнения задач, включая оценку успешности или неудачи предпринятых действий и формирование стратегий для будущих задач. Получаемые данные отражают изменения в метаболической активности нейронов, коррелирующие с интенсивностью когнитивных процессов, что делает фНИРС эффективным инструментом для изучения когнитивных функций, связанных с оценкой и принятием решений.

Система NEURO-LOOP использует нейрофизиологические данные, полученные с помощью функциональной ближней инфракрасной спектроскопии (фНИРС), для непосредственного управления процессом обучения агента. В рамках этой системы создается замкнутый контур, где активность префронтальной коры человека, отражающая когнитивные процессы, связанные с принятием решений и оценкой задач, преобразуется в сигналы, корректирующие параметры обучения агента. Это позволяет агенту адаптировать свое поведение в режиме реального времени, основываясь на неявной обратной связи, получаемой непосредственно от мозговой активности оператора, что обеспечивает более эффективное и интуитивно понятное взаимодействие между человеком и искусственным интеллектом.

Подход NEURO-LOOP расширяет возможности обучения с подкреплением на основе обратной связи от человека (RLHF) за счет использования более богатого и нюансированного источника неявной обратной связи. В отличие от RLHF, где обратная связь обычно выражается в виде явных оценок или действий, NEURO-LOOP использует данные функциональной ближней инфракрасной спектроскопии (fNIRS), регистрирующей активность префронтальной коры. Это позволяет извлекать информацию о когнитивных процессах, связанных с оценкой задач и принятием решений, непосредственно из мозговой активности оператора. В результате, система получает доступ к подсознательным сигналам, которые могут быть недоступны при традиционных методах обратной связи, что позволяет более точно настроить поведение агента и улучшить его производительность.

В ходе эксперимента участники сидели на расстоянии 60 см от экрана компьютера, а изменения кровотока в префронтальной коре головного мозга измерялись с помощью fNIRS-устройства в виде оголовка, излучающего пульсирующий инфракрасный свет.

Экспериментальное Подтверждение в Разнообразных Средах

Для оценки эффективности NEURO-LOOP проводилось тестирование в трех стандартных средах обучения с подкреплением: Flappy Bird, Lunar Lander и Robot Fetch and Place. Выбор этих сред обусловлен их разнообразием в плане сложности управления, требуемых действий и типов обратной связи. Flappy Bird представляет собой среду с дискретными действиями и высокой динамикой, Lunar Lander требует точного управления непрерывными параметрами, а Robot Fetch and Place моделирует задачу манипулирования объектами в трехмерном пространстве. Использование этих трех сред позволило всесторонне оценить способность NEURO-LOOP адаптироваться к различным задачам и условиям обучения.

Агенты, обученные с использованием NEURO-LOOP, демонстрировали стабильно более высокие результаты по сравнению с агентами, использующими традиционные методы обучения с подкреплением в задачах Flappy Bird, Lunar Lander и Robot Fetch and Place. Данное превосходство подтверждает эффективность интеграции нейрофизиологической обратной связи в процесс обучения, позволяя агентам быстрее адаптироваться и достигать лучших показателей в различных средах. Улучшение производительности наблюдалось во всех тестовых задачах, что указывает на универсальность подхода NEURO-LOOP.

Для анализа данных fNIRS и управления обучением агентов использовались различные модели машинного обучения, включая Support Vector Machine, K-Nearest Neighbors, Random Forest и Multilayer Perceptron. В задачах бинарной классификации, модели, обученные на данных одного испытуемого, достигли показателя F1-score в 0.79. Этот результат демонстрирует возможность эффективного декодирования когнитивного состояния испытуемого из данных fNIRS для улучшения процесса обучения агента в задачах обучения с подкреплением.

Для обеспечения воспроизводимости результатов и стимулирования дальнейших исследований в данной области, мы предоставили публичный доступ к использованному набору данных. Этот датасет включает в себя записи fNIRS, соответствующие процессам обучения агентов в средах Flappy Bird, Lunar Lander и Robot Fetch and Place, а также соответствующие данные об обучении и производительности агентов. Предоставление открытого доступа к данным позволяет другим исследователям проверить наши результаты, разработать новые алгоритмы и расширить понимание взаимодействия между нейрофизиологической обратной связью и обучением с подкреплением.

На представленных примерах робот Fetch, игра Flappy Bird и лунный посадочный модуль демонстрируют разнообразие сред, с которыми взаимодействуют агенты.

Усиление Обучения с Помощью Мультисубъектного Обучения и Тонкой Настройки

Исследование было расширено с целью изучения преимуществ интеграции NEURO-LOOP с передовыми парадигмами обучения, такими как мультисубъектное обучение и тонкая настройка. Применение этих методов позволило использовать данные, полученные от множества участников, что значительно повысило устойчивость и обобщающую способность созданных агентов. Мультисубъектное обучение способствовало формированию более надежных моделей, менее подверженных индивидуальным особенностям, в то время как тонкая настройка позволила адаптировать агентов к специфическим характеристикам конкретных пользователей. Данный подход оказался эффективным инструментом для повышения качества обучения и улучшения взаимодействия между человеком и искусственным интеллектом, открывая новые возможности для создания более интуитивных и эффективных систем.

Использование данных от нескольких участников позволило значительно повысить устойчивость и обобщающую способность разработанных агентов. Вместо обучения на данных одного индивидуума, модели обучались на разнообразном наборе поведенческих паттернов, что способствовало их адаптации к различным стилям принятия решений и снижению чувствительности к индивидуальным особенностям. Такой подход не только улучшил способность агентов к эффективному взаимодействию с новыми пользователями, но и обеспечил более надежную работу в условиях неполной или зашумленной информации. В результате, агенты, обученные с использованием мульти-субъектных данных, демонстрируют повышенную точность и предсказуемость в широком спектре задач, приближаясь к уровню производительности, наблюдаемому у опытных человеческих операторов.

Анализ расхождения Кульбака-Лейблера подтвердил, что NEURO-LOOP значительно уменьшает разрыв между процессами принятия решений агентом и человеком. Данный показатель, измеряющий информационную разницу между двумя распределениями вероятностей, продемонстрировал существенное снижение после применения NEURO-LOOP, что свидетельствует о более тесном приближении стратегий выбора агента к человеческим. Это указывает на способность системы моделировать и воспроизводить когнитивные процессы, лежащие в основе человеческого мышления, что является ключевым фактором для создания эффективных и интуитивно понятных систем взаимодействия человек-агент. Уменьшение расхождения подтверждает, что NEURO-LOOP не просто имитирует поведение, но и приближается к лежащим в его основе принципам, обеспечивая более предсказуемые и надежные результаты.

Проведенные исследования показали, что даже использование лишь 20% данных конкретного участника для тонкой настройки моделей позволило значительно улучшить их производительность. В задачах бинарной классификации наблюдалось увеличение показателя $F_1$ на 16.9%, а в задачах многоклассовой классификации — на впечатляющие 41.3%. Для регрессионных моделей, работающих в активных условиях, коэффициент детерминации $R^2$ достиг значения 0.81, что свидетельствует о высокой степени соответствия между предсказаниями модели и реальными данными. Полученные результаты подчеркивают эффективность предлагаемого подхода к обучению и его потенциал для создания высокоточных и адаптируемых систем искусственного интеллекта, требующих минимального объема данных для персонализации.

В ходе исследования данные NASA-TLX, оценивающие когнитивную нагрузку операторов, оказались ценным инструментом для понимания процессов взаимодействия человека и искусственного интеллекта. Анализ этих данных позволил выявить факторы, вызывающие наибольшее утомление и затруднения в работе, что, в свою очередь, дало возможность оптимизировать дизайн агентов и сделать взаимодействие более интуитивным и эффективным. Особое внимание уделялось снижению ментальной нагрузки, необходимой для контроля и принятия решений, что привело к разработке систем, требующих меньших когнитивных усилий от оператора и обеспечивающих более комфортную и продуктивную работу. Результаты показали, что учет когнитивной нагрузки является ключевым фактором в создании действительно полезных и удобных систем искусственного интеллекта, способных эффективно поддерживать деятельность человека.

Оценка NASA-TLX показала, что активные задачи вызывают значительно более высокую когнитивную нагрузку у участников, в то время как пассивные задачи на Луне и с маханием крыльев показали наименьшую нагрузку.

К Бесшовному Сотрудничеству Человека и Агента

Система NEURO-LOOP открывает захватывающие перспективы в создании интерфейсов мозг-компьютер, способных обеспечить бесшовную коммуникацию и сотрудничество между человеком и агентом. В основе лежит возможность декодирования намерений человека непосредственно из нейронной активности и трансляции их в команды для агента, что позволяет обойти традиционные методы управления, требующие физических действий или голосовых команд. Такой подход не только повышает эффективность взаимодействия, но и снижает когнитивную нагрузку на человека, позволяя ему более естественно и интуитивно управлять агентом. Перспективы включают в себя создание интеллектуальных ассистентов, способных предвосхищать потребности человека, и разработку систем совместной работы, где человек и агент действуют как единое целое, дополняя навыки и способности друг друга. В конечном итоге, NEURO-LOOP стремится к созданию симбиотических отношений между человеком и искусственным интеллектом, где оба могут учиться и развиваться вместе.

В ходе экспериментов по переносу обучения без предварительной адаптации, разработанная система продемонстрировала показатель F1-score в 0.54 для условий пассивного взаимодействия с роботом. Этот результат указывает на способность системы эффективно интерпретировать намерения человека и адаптироваться к новым задачам, даже без дополнительного обучения в конкретной среде. Достижение такого уровня производительности в условиях переноса обучения является значимым шагом на пути к созданию систем, способных к гибкому и интуитивно понятному взаимодействию с человеком, открывая возможности для более естественной и эффективной совместной работы.

Дальнейшие исследования направлены на расширение возможностей данной системы и применение ее к более сложным задачам, требующим более тонкой координации между человеком и агентом. Особое внимание будет уделено разработке персонализированной нейрообратной связи, позволяющей адаптировать взаимодействие к индивидуальным особенностям мозга каждого пользователя. Предполагается, что использование индивидуальных профилей нейронной активности позволит значительно повысить эффективность и естественность совместной работы, а также оптимизировать процесс обучения и адаптации системы к потребностям конкретного человека. Это открывает перспективы для создания интеллектуальных помощников, способных не только выполнять задачи, но и предвидеть намерения пользователя, обеспечивая максимально комфортное и продуктивное взаимодействие.

Данная работа знаменует собой важный шаг к созданию систем искусственного интеллекта, которые не просто демонстрируют высокий уровень интеллекта, но и действительно соответствуют человеческим ценностям и предпочтениям. Вместо слепого следования алгоритмам, такие системы стремятся к согласованности с намерениями и этическими нормами человека, что открывает возможности для более эффективного и безопасного взаимодействия. Это достигается за счет интеграции принципов нейронауки и машинного обучения, позволяя агентам понимать не только что нужно сделать, но и как это сделать в соответствии с человеческими ожиданиями и моральными установками. В перспективе, это позволит создать ИИ, который будет не просто инструментом, а надежным партнером, способным к эмпатии и сотрудничеству.

Сближение нейронауки и искусственного интеллекта открывает перспективу качественно нового уровня взаимодействия между человеком и машиной. Исследования в этой области позволяют не просто автоматизировать задачи, но и создавать системы, способные понимать намерения человека и адаптироваться к его потребностям в реальном времени. Такое слияние технологий предполагает разработку алгоритмов, имитирующих когнитивные процессы мозга, что, в свою очередь, позволит создавать более интуитивные и эффективные интерфейсы. Предполагается, что подобный симбиоз приведет к появлению интеллектуальных помощников, способных предвосхищать желания человека и действовать в соответствии с его ценностями, что существенно повысит производительность и улучшит качество жизни. Реализация этого потенциала требует глубокого понимания как принципов работы мозга, так и возможностей современных алгоритмов машинного обучения, что делает данное направление одним из наиболее перспективных в современной науке.

Исследование демонстрирует потенциал функциональной ближней инфракрасной спектроскопии (fNIRS) для классификации уровней производительности агента, открывая путь к системам обучения с подкреплением, управляемым мозгом. Это, по сути, попытка реверс-инжиниринга когнитивных процессов, выявление нейронных коррелятов успешных действий. Как точно заметил Дональд Дэвис: «Простота — это главное, но простота не должна быть простой». В данном случае, сложность мозга упрощается до сигналов fNIRS, чтобы создать управляемый интерфейс. Каждый «патч» в алгоритмах машинного обучения, стремящийся улучшить точность классификации, является философским признанием несовершенства наших моделей и самой нейронной сети.

Куда двигаться дальше?

Представленная работа, безусловно, открывает двери, но, как и всегда, за каждой открытой дверью — целый лабиринт вопросов. Возможность классификации уровней производительности агента на основе сигналов функциональной ближней инфракрасной спектроскопии (fNIRS) — это не конец пути, а лишь отправная точка. Истинная проверка системы — в ее способности к адаптации, к обучению без явного указания “хорошо” или “плохо”. Здесь, как и в любой попытке “взломать” мозг, возникает проблема интерпретации: что именно отражают эти сигналы? Просто корреляцию с действиями, или истинное понимание задачи?

Следующим шагом видится не просто расширение набора данных, а углубление понимания лежащих в основе нейронных механизмов. Необходимо преодолеть упрощения, неизбежные в любой модели, и учесть индивидуальные различия в мозговой активности. Иначе, система рискует стать очередным “черным ящиком”, выдающим результаты, но не объясняющим их. Важно помнить, что безопасность подобного интерфейса — это не столько защита от взлома, сколько прозрачность его работы.

В конечном итоге, задача состоит не в создании машины, которая “читает мысли”, а в разработке системы, которая учится на неявной обратной связи, позволяя человеку и агенту взаимодействовать на принципиально новом уровне. И тогда, возможно, мы поймем, что настоящая сложность не в декодировании сигналов мозга, а в понимании самой сути обучения.

Оригинал статьи: https://arxiv.org/pdf/2511.12844.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-18 23:49