Мозг без обучения: Новая модель расшифровывает мысли между людьми

Автор: Денис Аветисян

Ученые разработали систему, способную интерпретировать активность мозга, полученную с помощью фМРТ, и переносить эти знания между разными людьми без дополнительной настройки.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Иерархическая структура декодирования мозговой активности позволяет реконструировать стимулы, используя данные активности отдельных вокселей и обобщаясь на новые объекты и сканеры без дополнительной настройки, причём эффективность модели напрямую зависит от количества используемых изображений на первом этапе и числа вокселей на втором.

Предложенный фреймворк BrainCoDec использует иерархическое обучение в контексте и функциональную инверсию для кросс-субъектной нейродекодировки.

Восстановление зрительной информации по сигналам мозга остается сложной задачей, требующей адаптации моделей к индивидуальным особенностям каждого испытуемого. В работе ‘Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding’ предложен новый подход, позволяющий декодировать зрительную информацию из данных фМРТ без какой-либо дополнительной тренировки для каждого нового субъекта. Достигнуто это благодаря иерархическому обучению в контексте и функциональной инверсии, что позволяет модели быстро адаптироваться к уникальным паттернам мозговой активности. Открывает ли это путь к созданию универсальной платформы для неинвазивной декодировки мозговой активности и развитию интерфейсов мозг-компьютер нового поколения?

Расшифровка Мозга: Преодоление Индивидуальных Различий

Традиционный анализ данных функциональной магнитно-резонансной томографии (фМРТ) часто требует значительной предварительной калибровки для каждого отдельного участника исследования. Это связано с тем, что мозговая активность сильно варьируется от человека к человеку, и для точной интерпретации сигналов необходимо учитывать эти индивидуальные особенности. Такой подход, хотя и позволяет получить детальные результаты для конкретного мозга, существенно ограничивает возможности обобщения полученных данных и масштабирования исследований на большие группы людей. Необходимость индивидуальной настройки алгоритмов для каждого участника делает процесс анализа трудоемким и дорогостоящим, препятствуя быстрому и эффективному изучению мозговой деятельности в широких масштабах.

Ограничение, препятствующее широкому применению функциональной магнитно-резонансной томографии (фМРТ) для декодирования мозговой активности, заключается в колоссальной размерности и индивидуальных различиях нейронных представлений. Мозг человека — чрезвычайно сложная система, и даже выполнение простых задач активирует огромное количество нейронов, создавая многомерные паттерны активности. Однако, эти паттерны существенно различаются у разных людей из-за уникального опыта, анатомических особенностей и индивидуальных стратегий обработки информации. Это означает, что модель, обученная на данных одного человека, часто оказывается неэффективной при анализе данных другого, что требует проведения трудоемкой индивидуальной настройки для каждого испытуемого и ограничивает возможности масштабирования и обобщения результатов. Преодоление этой проблемы является ключевой задачей для развития нейронауки и создания более эффективных методов анализа мозговой активности.

Проект BrainCoDec направлен на преодоление существенных ограничений, свойственных традиционному анализу функциональной магнитно-резонансной томографии (фМРТ). В отличие от стандартных подходов, требующих индивидуальной настройки для каждого испытуемого, BrainCoDec демонстрирует возможность надежного декодирования данных фМРТ без необходимости этой трудоемкой процедуры. Достигнуто это за счет разработки алгоритмов, способных эффективно обрабатывать и интерпретировать высокоразмерные нейронные представления, несмотря на значительные индивидуальные различия. Результаты исследований показывают, что BrainCoDec превосходит современные методы, достигая более низкого среднего ранга извлечения изображений (Image Retrieval Mean Rank), что свидетельствует о повышенной точности и эффективности декодирования мозговой активности.

Анализ BrainCoDec показывает, что производительность декодера увеличивается с ростом количества изображений (stage 1) и контекстных вокселей (stage 2), при этом обучение на реальных нейронных данных значительно превосходит использование только синтетических данных, а дообучение на отдельном субъекте дает лишь незначительный прирост.

BrainCoDec: Иерархическая Система Контекстного Обучения

BrainCoDec использует двухэтапный иерархический процесс обучения с подкреплением для декодирования активности мозга на основе данных фМРТ. Первый этап включает формирование контекстных токенов, представляющих собой комбинацию параметров отклика вокселей и измеренной нейронной активации. Затем, на втором этапе, эти токены обрабатываются с помощью Transformer-энкодера, что позволяет выполнить функциональную инверсию — реконструкцию стимула по данным активности мозга. Иерархическая структура обеспечивает эффективное извлечение и использование контекстной информации, что повышает точность декодирования и обобщающую способность модели.

В основе BrainCoDec лежит использование “токенoв контекста вокселей” (Voxel Context Tokens) в качестве входных данных. Эти токены представляют собой комбинированные векторы, включающие параметры отклика вокселей (voxel response parameters) и непосредственно измеренную нейронную активацию. Параметры отклика вокселей описывают характеристики сигнала, а измеренная активация — фактическую величину нейронной активности в данном вокселе. Комбинирование этих двух типов данных позволяет модели учитывать как общие характеристики нейронного ответа, так и специфическую активность в каждый момент времени, что повышает точность реконструкции стимулов по данным фМРТ.

В основе BrainCoDec лежит использование Transformer Encoder для выполнения функциональной инверсии — процесса реконструкции стимулов на основе данных мозговой активности. Этот энкодер обрабатывает токены, представляющие собой параметры реакции вокселей и измеренную нейронную активацию, преобразуя их в представление, позволяющее восстановить исходный стимул. Архитектура Transformer обеспечивает эффективную обработку последовательностей данных и выявление сложных взаимосвязей между активностью различных вокселей и характеристиками стимула, что позволяет BrainCoDec успешно реконструировать визуальные стимулы на основе данных фМРТ.

Архитектура BrainCoDec обеспечивает возможность обучения на данных, полученных от группы испытуемых, и последующего применения полученных знаний для декодирования мозговой активности у новых, ранее не встречавшихся субъектов. Экспериментальные данные демонстрируют, что BrainCoDec последовательно превосходит существующие модели, такие как MindEye2 и TGBD, в задачах реконструкции стимулов по данным фМРТ на независимой тестовой выборке. Это превосходство указывает на более эффективное обобщение модели и ее способность адаптироваться к индивидуальным особенностям мозговой активности, не требуя индивидуальной калибровки для каждого нового субъекта.

Модель BrainCoDec состоит из двух этапов: на первом этапе кодировщик, работающий в контексте, выводит параметры кодировщика на основе пар стимул/активация для отдельного вокселя, а на втором этапе происходит интеграция параметров и активаций по нескольким вокселям для обработки нового изображения, причем размер контекста может варьироваться на обоих этапах.

Проверка и Эффективность на Масштабных Данных фМРТ

Фреймворк BrainCoDec был первоначально обучен и протестирован на масштабном наборе данных ‘NSD Dataset’ (Natural Scenes Dataset), состоящем из данных фМРТ, собранных у испытуемых, просматривающих большое количество естественных изображений. В ходе обучения и оценки была продемонстрирована способность модели точно реконструировать воспринимаемые изображения на основе активности мозга, что подтверждается высокими показателями точности декодирования зрительных стимулов. Набор данных ‘NSD Dataset’ предоставляет обширный объем информации о нейронных ответах на разнообразные визуальные сцены, что позволило эффективно обучить и валидировать возможности BrainCoDec в области декодирования активности мозга.

Для подтверждения обобщающих способностей BrainCoDec использовался датасет ‘BOLD5000’, собранный с использованием различных МРТ-сканеров и протоколов. Этот датасет, отличный от ‘NSD Dataset’ по параметрам сбора данных и оборудованию, позволил оценить устойчивость модели к изменениям в характеристиках входных данных. Успешная работа BrainCoDec на ‘BOLD5000’ демонстрирует его способность к эффективному декодированию мозговой активности, независимо от конкретного оборудования или протокола сканирования, что подтверждает общую применимость разработанного фреймворка.

В рамках BrainCoDec для генерации ‘Image Embeddings’, используемых в процессе декодирования нейровизуализационных данных, применяются различные предобученные модели компьютерного зрения, включая ‘CLIP’, ‘DINOv2’ и ‘SigLIP’. Эти модели преобразуют визуальную информацию в векторные представления, отражающие семантические особенности изображений. Использование нескольких моделей позволяет оценить устойчивость и обобщающую способность системы, а также выбрать наиболее эффективное представление для конкретных задач декодирования мозговой активности.

Эксперименты показали, что производительность BrainCoDec демонстрирует масштабируемость в зависимости от объема контекстных данных. При использовании контекстного ввода, состоящего из 200 изображений, достигается сопоставимая точность декодирования с использованием полного контекста, содержащего около 9000 изображений. Более того, наблюдается устойчивое улучшение производительности по мере увеличения числа используемых контекстных вокселей — от 200 до 4000, что указывает на способность модели эффективно использовать и интегрировать больше информации для повышения точности реконструкции визуальных представлений.

Модель BrainCoDec демонстрирует масштабируемость в зависимости от контекста изображения на выборке BOLD5000.

Влияние и Перспективы для Нейровизуализации

Разработка BrainCoDec знаменует собой существенный прогресс в области декодирования функциональной магнитно-резонансной томографии (фМРТ), открывая новые возможности для проведения более эффективных и масштабируемых нейровизуализационных исследований. Традиционные методы декодирования часто требуют значительных вычислительных ресурсов и индивидуальной настройки для каждого испытуемого, что ограничивает возможности крупномасштабных исследований. BrainCoDec, напротив, предлагает унифицированный подход, позволяющий анализировать данные фМРТ с повышенной скоростью и точностью, снижая потребность в дорогостоящей и трудоемкой адаптации моделей под каждого участника. Это позволяет исследователям сосредоточиться на научных вопросах, а не на технических сложностях обработки данных, и значительно расширяет возможности для изучения сложных когнитивных процессов и нейронных механизмов.

Разработанный фреймворк BrainCoDec демонстрирует значительный прогресс в области функциональной магнитно-резонансной томографии (фМРТ) благодаря своей способности к обобщению результатов между разными испытуемыми. Традиционно, для декодирования мозговой активности требовалось проведение индивидуальной калибровки и обучения модели для каждого участника исследования, что существенно увеличивало затраты времени и ресурсов. BrainCoDec позволяет избежать этой трудоемкой процедуры, поскольку модель, обученная на данных одного человека, способна эффективно анализировать мозговую активность других участников, значительно сокращая время подготовки и стоимость исследований. Данное свойство открывает возможности для проведения масштабных нейровизуализационных проектов и более глубокого понимания универсальных принципов работы мозга.

В рамках BrainCoDec использование механизмов внимания позволило получить новые данные о нейронных представлениях, лежащих в основе восприятия. Эти механизмы, имитирующие процессы, происходящие в мозге при фокусировке на релевантной информации, выявили, какие области мозга и паттерны активности наиболее важны для декодирования зрительных стимулов. Анализ показывает, что система способна автоматически определять и взвешивать наиболее значимые нейронные признаки, что приводит к более точной и эффективной реконструкции воспринимаемых изображений. В частности, исследование демонстрирует, что внимание не ограничивается определенными областями мозга, а распределено по всей сети, что подчеркивает сложность и распределенный характер процессов восприятия. Эти результаты открывают возможности для углубленного понимания механизмов внимания и их роли в формировании субъективного опыта.

Исследования показали, что разработанная платформа BrainCoDec отличается высокой устойчивостью к выпадению областей интереса (ROI dropout), сохраняя минимальное снижение производительности даже при маскировании регионов, специфичных для определенных категорий. Это свидетельствует о том, что нейронные представления, используемые платформой, распределены по всему мозгу, а не локализованы в отдельных участках. В дальнейшем планируется расширить возможности BrainCoDec для анализа более сложных когнитивных процессов и оценить потенциал применения платформы в клинической практике, например, для диагностики и мониторинга неврологических расстройств, а также для разработки новых методов нейрореабилитации.

Семантическое внимание в BrainCoDec позволяет выделить ключевые паттерны мозговой активности, соответствующие различным аспектам кодируемой информации.

Исследование демонстрирует стремление к обобщению моделей декодирования мозговой активности, избегая необходимости в трудоемкой тонкой настройке для каждого нового субъекта. Этот подход, основанный на иерархическом обучении в контексте и функциональной инверсии, напоминает о важности поиска фундаментальных принципов. Как говорил Давид Гильберт: «В математике нет спектра. Есть только математика». Аналогично, в нейронауке, стремление к универсальным принципам декодирования, применимым к разным индивидуумам, представляется более элегантным решением, чем бесконечная адаптация к специфическим особенностям каждого мозга. Упрощение сложных моделей, отказ от избыточности — вот путь к истине.

Что дальше?

Представленная работа, хотя и демонстрирует способность к обобщению декодирования мозговой активности без дополнительной настройки, не решает фундаментальной проблемы: понимания самой природы репрезентаций, формируемых мозгом. Иллюзия «обучения в контексте» может оказаться лишь элегантным способом обхода необходимости в истинном, глубоком понимании нейронного кода. Очевидно, что эффективность BrainCoDec ограничена качеством и разнообразием исходных данных — однородность выборки, несомненно, является узким местом.

Дальнейшие исследования должны быть направлены не столько на улучшение алгоритмов декодирования, сколько на разработку методов, позволяющих извлекать инвариантные признаки мозговой активности, не зависящие от конкретного субъекта или задачи. Стремление к созданию универсального «нейронного переводчика» представляется наивным. Гораздо более продуктивным представляется поиск принципов, лежащих в основе организации информации в мозге, а не просто попытки «скопировать» ее.

Возможно, истинный прогресс потребует отказа от парадигмы «декодирования» как таковой, и перехода к разработке методов, позволяющих напрямую взаимодействовать с мозгом на языке его собственных репрезентаций. Простота, как всегда, может оказаться ключом к решению сложнейших задач.

Оригинал статьи: https://arxiv.org/pdf/2604.08537.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-04-21 23:15