Мозг на мозг: Новый взгляд на оценку нейросетевых моделей

от

Автор: Денис Аветисян

Исследование показывает, что существующие методы оценки соответствия нейросетей работе мозга недостаточно точны, и предлагает новый подход, основанный на анализе паттернов согласованности.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
Анализ паттернов выравнивания позволяет различать модели, демонстрирующие эквивалентное выравнивание, дополняя стандартные бенчмарки, оценивающие соответствие модели конкретному участку мозга посредством преобразований подобия, и расширяя возможности, заложенные в концепцию NeuroAI Turing Test, посредством реляционного подхода, выявляющего соответствие воспроизведения характерных межрегиональных паттернов выравнивания, наблюдаемых в живых мозгах.
Анализ паттернов выравнивания позволяет различать модели, демонстрирующие эквивалентное выравнивание, дополняя стандартные бенчмарки, оценивающие соответствие модели конкретному участку мозга посредством преобразований подобия, и расширяя возможности, заложенные в концепцию NeuroAI Turing Test, посредством реляционного подхода, выявляющего соответствие воспроизведения характерных межрегиональных паттернов выравнивания, наблюдаемых в живых мозгах.

Введение анализа паттернов согласованности позволяет более точно оценить сходство между моделями и мозгом, выявляя ограничения традиционных методов оценки соответствия.

Несмотря на растущую популярность сравнительных оценок соответствия искусственного и биологического зрения, существующие подходы часто оказываются неспособны различать модели с формально эквивалентными результатами. В работе ‘Only Brains Align with Brains: Cross-Region Alignment Patterns Expose Limits of Normative Models’ предложен новый метод оценки — анализ паттернов выравнивания, позволяющий выявить соответствие не только отдельных областей мозга, но и их взаимосвязей. Показано, что в то время как стабильные кросс-региональные паттерны характерны для человеческого мозга, даже самые передовые модели часто не способны их воспроизвести. Каковы перспективы разработки более адекватных вычислительных моделей зрительной коры, способных отразить сложность и организованность биологических систем?

Мост между Зрением и Искусственным Интеллектом

Несмотря на значительный прогресс в области глубоких нейронных сетей (DNN), они зачастую уступают биологическим зрительным системам в плане устойчивости и эффективности. В то время как DNN демонстрируют впечатляющие результаты в контролируемых условиях, их производительность резко снижается при наличии шума, изменений освещения или незначительных искажений изображения — проблемы, с которыми биологическое зрение справляется легко. Это связано с тем, что DNN, как правило, требуют огромного количества данных для обучения и не обладают врожденной способностью к обобщению, характерной для мозга. Биологические зрительные системы, напротив, способны эффективно обрабатывать визуальную информацию, используя относительно небольшое количество энергии и демонстрируя высокую устойчивость к помехам благодаря сложной иерархической структуре и механизмам адаптации, которые пока сложно воспроизвести в искусственных системах.

Изучение механизмов обработки визуальной информации в мозге является фундаментальным для создания более совершенных моделей искусственного интеллекта. Нейронные сети, несмотря на впечатляющие достижения, часто уступают биологическим системам зрения в плане устойчивости к помехам и эффективности энергопотребления. Понимание того, как мозг иерархически обрабатывает визуальные стимулы, выделяет ключевые признаки и формирует устойчивые представления об окружающем мире, позволяет разрабатывать алгоритмы, имитирующие эти процессы. Такой подход, основанный на принципах нейробиологии, может привести к созданию ИИ-систем, способных к более надежному распознаванию образов, адаптации к меняющимся условиям и эффективному использованию вычислительных ресурсов, что особенно важно для приложений в области робототехники, автономного вождения и анализа изображений.

Современные методы оценки искусственного интеллекта, несмотря на свою кажущуюся точность, зачастую не способны уловить тонкости, присущие вычислениям, выполняемым мозгом. Традиционные метрики, ориентированные на достижение высокой производительности в конкретной задаче, игнорируют способы, которыми информация обрабатывается и представляется в нейронных сетях мозга. В результате, алгоритмы, демонстрирующие впечатляющие результаты в лабораторных условиях, могут оказаться хрупкими и неэффективными при столкновении со сложными, непредсказуемыми реальными сценариями, в отличие от устойчивости и адаптивности биологических зрительных систем. Необходим принципиально новый подход к оценке ИИ, позволяющий напрямую сопоставлять его внутренние представления с нейронными механизмами мозга, чтобы обеспечить создание действительно интеллектуальных и надежных систем.

Необходим принципиально новый подход к оценке искусственного интеллекта, который напрямую сопоставлял бы его работу с нейронными представлениями в мозге. Существующие метрики часто не отражают сложность и эффективность биологических зрительных систем, фокусируясь на производительности в искусственных задачах, а не на сходстве с тем, как обрабатывает информацию сам мозг. Новый подход предполагает измерение степени, в которой внутренние представления в глубоких нейронных сетях соответствуют тем, которые наблюдаются в зрительной коре головного мозга, используя методы нейровизуализации и вычислительного моделирования. Такой подход позволит не только создавать более устойчивые и эффективные ИИ-системы, но и глубже понять принципы работы самого зрения, открывая новые горизонты в области когнитивной науки и искусственного интеллекта.

Анализ паттернов выравнивания мозга, полученных на основе функциональной магнито-резонансной томографии (fMRI) и структурной связности, демонстрирует согласованность между этими подходами, как показано на основной схеме.
Анализ паттернов выравнивания мозга, полученных на основе функциональной магнито-резонансной томографии (fMRI) и структурной связности, демонстрирует согласованность между этими подходами, как показано на основной схеме.

Согласование с Мозгом: Новые Ориентиры Оценки

Бенчмарки согласованности с мозгом (Brain-Alignment Benchmarks) представляют собой систему оценки глубоких нейронных сетей (DNN) на основе соответствия их внутренних представлений функциональным записям активности из зрительных областей мозга. Этот подход позволяет количественно оценить, насколько хорошо модель воспроизводит принципы обработки информации, наблюдаемые в биологических системах. Оценка строится на сопоставлении представлений, сформированных моделью и мозгом, в ответ на одни и те же стимулы. В рамках этих бенчмарков используются различные методы, такие как анализ сходства репрезентаций (Representational Similarity Analysis, RSA) и линейная предсказуемость (Linear Predictivity, LP), для вычисления количественных показателей соответствия между моделью и мозгом. Целью является создание моделей, которые не только достигают высокой производительности в задачах компьютерного зрения, но и демонстрируют более биологически правдоподобные механизмы обработки информации.

Оценка соответствия (Alignment Score) является ключевой метрикой для количественной оценки сходства между представлениями, формируемыми искусственной нейронной сетью (ИНС) и представлениями, регистрируемыми в зрительных областях мозга. Она рассчитывается на основе сравнения паттернов активации в различных слоях ИНС и соответствующих паттернов нейронной активности, полученных посредством функциональной визуализации мозга. Высокое значение оценки соответствия указывает на то, что ИНС обрабатывает информацию аналогичным образом, как это делает мозг, что свидетельствует о более эффективном и биологически правдоподобном представлении данных. Данная метрика позволяет сравнивать различные модели ИНС и оптимизировать их архитектуру для достижения большей нейробиологической согласованности.

Для вычисления оценок соответствия (alignment scores) между нейронными сетями и данными о деятельности мозга используются методы анализа репрезентативного сходства (Representational Similarity Analysis, RSA) и линейной предсказуемости (Linear Predictivity, LP). RSA сравнивает матрицы сходства представлений, полученные из данных о мозговой активности и внутренних слоев нейронной сети, вычисляя корреляцию между ними. LP, в свою очередь, оценивает, насколько хорошо активность нейронов в конкретном слое модели может быть предсказана на основе активности нейронов в другом слое или на основе стимулов, используя методы линейной регрессии. Обе техники позволяют количественно оценить степень, в которой внутренние представления модели отражают принципы организации информации в мозге.

Тест Тьюринга NeuroAI представляет собой расширение концепции оценки соответствия искусственных нейронных сетей (ИНС) биологическим системам. Его целью является установление, способны ли внутренние представления ИНС быть статистически неотличимыми от представлений, наблюдаемых в мозге. Для проведения теста используются методы машинного обучения, позволяющие классифицировать представления, полученные либо от ИНС, либо от нейронных записей мозга. Если классификатор не может надежно различить источник представлений, это рассматривается как свидетельство того, что модель достигла высокого уровня соответствия мозгу, что указывает на сходство в принципах обработки информации.

Различные модели демонстрируют сопоставимые показатели соответствия на наборе данных BOLD Moments, что подтверждается усредненными по испытуемым результатами (RSA/LP) по всем областям интереса (ROI) и индивидуальными оценками для V1, V8 и MST, с указанием стандартного отклонения и 95% доверительных интервалов, при этом эквивалентные модели выделены жирным шрифтом относительно референсных значений, включая соответствие между отдельными мозгами и между усредненным мозгом и отдельными мозгами.
Различные модели демонстрируют сопоставимые показатели соответствия на наборе данных BOLD Moments, что подтверждается усредненными по испытуемым результатами (RSA/LP) по всем областям интереса (ROI) и индивидуальными оценками для V1, V8 и MST, с указанием стандартного отклонения и 95% доверительных интервалов, при этом эквивалентные модели выделены жирным шрифтом относительно референсных значений, включая соответствие между отдельными мозгами и между усредненным мозгом и отдельными мозгами.

Источники Данных: Визуальные Сигналы из Мозга

Набор данных BOLD Moments содержит высококачественные данные функциональной магнитно-резонансной томографии (фМРТ) с разрешением 3 Тесла, полученные во время просмотра видеоматериалов испытуемыми. Данные охватывают активность мозга в течение всего процесса просмотра, предоставляя возможность детального анализа нейронных реакций на различные визуальные стимулы. Набор включает в себя данные об изменениях уровня кислорода в крови (сигнал BOLD), которые служат косвенным показателем нейронной активности, и позволяет проводить количественную оценку активности различных областей мозга, связанных с визуальной обработкой информации.

Набор данных BOLD Moments предоставляет возможность исследователям анализировать активность ключевых зрительных областей мозга, таких как V1 (первичная зрительная кора), V8 и MST (медиотемпоральная область). Активность в V1 обрабатывает базовые визуальные характеристики, такие как ориентация и пространственная частота. Область V8 участвует в обработке движения, особенно сложных паттернов, а MST интегрирует информацию о движении и пространстве, что критически важно для восприятия зрительного потока и навигации. Анализ активности в этих областях позволяет получить представление о нейронных механизмах, лежащих в основе зрительного восприятия и обработки информации.

Понимание структурной связности мозга является ключевым фактором для интерпретации наблюдаемых паттернов активности, зафиксированных с помощью функциональной магнитно-резонансной томографии (фМРТ). Структурная связность, определяемая анатомическими соединениями между различными областями мозга, предоставляет информацию о путях, по которым информация передается между ними. Анализ этих связей позволяет установить, какие области мозга взаимодействуют друг с другом, и как эти взаимодействия влияют на обработку информации и формирование когнитивных процессов. Таким образом, понимание структурной связности позволяет более точно интерпретировать наблюдаемые паттерны активности в различных областях мозга, таких как V1, V8 и MST, и установить взаимосвязь между функциональной активностью и анатомической организацией мозга.

Анализ паттернов выравнивания, полученных на основе фМРТ, позволяет оценить, насколько различные вычислительные модели воспроизводят межрегиональное согласование активности мозга, наблюдаемое у испытуемых. В частности, исследуется степень, в которой модели способны имитировать корреляции между активностью в различных областях мозга, например, между зрительными областями и областями, отвечающими за обработку движения. Сравнение паттернов выравнивания, генерируемых моделями, с паттернами, полученными из данных фМРТ, предоставляет количественную оценку адекватности модели и позволяет выявить её сильные и слабые стороны в воспроизведении сложных процессов обработки информации в мозге. Этот подход позволяет оценить, какие аспекты нейронной обработки информации модели воспроизводят наиболее точно, а какие требуют дальнейшей доработки.

Анализ на основе RSA показывает соответствие между паттернами связности, полученными с помощью фМРТ и структурных данных.
Анализ на основе RSA показывает соответствие между паттернами связности, полученными с помощью фМРТ и структурных данных.

Модели в Гармонии: От ResNet до Видео-Трансформеров

Для оценки соответствия искусственных нейронных сетей — таких как ResNet, ConvNext и современные видео-трансформеры — человеческому восприятию применяются специализированные Brain-Alignment Benchmarks. Эти критерии оценки позволяют сравнить активность слоев нейронной сети с данными, полученными при помощи нейрофизиологических исследований мозга человека, обрабатывающих аналогичные визуальные стимулы. Чем выше корреляция между активациями искусственной сети и паттернами мозговой активности, тем лучше модель, по мнению исследователей, отражает принципы обработки информации, используемые человеческим мозгом. Такой подход открывает перспективы для создания более эффективных и интерпретируемых систем компьютерного зрения, способных решать задачи, требующие понимания визуальной информации на уровне, близком к человеческому.

Для упрощения разработки и анализа моделей глубокого обучения, таких как ResNet и Video Transformers, используются специализированные фреймворки. VISSL (Vision Systems Learning) предоставляет комплексную платформу для самообучающегося обучения и оценки моделей компьютерного зрения, позволяя исследователям быстро прототипировать и сравнивать различные архитектуры и стратегии обучения. Параллельно, Taskonomy Model Bank представляет собой ценный ресурс, предлагающий предварительно обученные модели и данные для широкого спектра задач компьютерного зрения, способствуя повторному использованию знаний и ускорению прогресса в этой области. Эти инструменты не только облегчают процесс обучения, но и стандартизируют процедуры оценки, обеспечивая более надежные и сопоставимые результаты исследований в области искусственного интеллекта.

Самообучающиеся методы, такие как SimCLR и CLIP, играют ключевую роль в улучшении соответствия искусственных нейронных сетей принципам работы человеческого мозга. Эти подходы позволяют моделям извлекать полезные признаки из неразмеченных данных, что особенно важно для задач, где ручная разметка данных затруднена или невозможна. SimCLR, например, фокусируется на обучении моделей, устойчивых к различным преобразованиям входных данных, таким как повороты и изменения масштаба, что способствует формированию более общих и робастных представлений. CLIP, в свою очередь, объединяет обработку изображений и текста, позволяя модели понимать взаимосвязь между визуальными и текстовыми данными и, следовательно, лучше соответствовать способам, которыми люди воспринимают и интерпретируют мир. В результате, модели, обученные с использованием этих методов, демонстрируют более высокую степень соответствия паттернам активности мозга, что свидетельствует о более эффективном обучении и более глубоком понимании визуальной информации.

Все более масштабные видеомодели, такие как CWM, V-JEPA и VGGT, демонстрируют растущую корреляцию своей внутренней активности с нейронными процессами в человеческом мозге. Исследования показывают, что паттерны активации этих моделей при обработке видеоматериалов могут предсказывать активность определенных областей мозга, отвечающих за зрительное восприятие и когнитивную обработку. Этот феномен, известный как «выравнивание с мозгом», предполагает, что эти модели не просто распознают объекты и действия, но и представляют информацию о видео аналогичным образом, как это делает человеческий мозг, что открывает новые перспективы в понимании как искусственного интеллекта, так и механизмов зрительного восприятия.

Анализ соответствия модели и мозга для паттернов выравнивания, основанных на линейном программировании, демонстрирует закономерности, представленные на основной Рисунке 4.
Анализ соответствия модели и мозга для паттернов выравнивания, основанных на линейном программировании, демонстрирует закономерности, представленные на основной Рисунке 4.

К Функциональному Эквиваленту: Будущее NeuroAI

Концепция функционального эквивалента постулирует, что достижение сходных результатов и соответствия принципам работы мозга возможно посредством различных вычислительных моделей. Вместо поиска единственного «правильного» подхода, данная идея подчеркивает, что несколько искусственных систем могут успешно выполнять одни и те же задачи, демонстрируя аналогичные поведенческие характеристики и нейронные паттерны. Это открывает перспективы для создания более устойчивых и адаптивных искусственных интеллектов, поскольку разнообразие моделей снижает зависимость от конкретной архитектуры или алгоритма. Признание возможности множественных путей к функциональному эквиваленту способствует более гибкому и инновационному подходу к разработке искусственного интеллекта, стремящегося к подражанию сложной организации и эффективности человеческого мозга.

Анализ паттернов согласования (APA) представляет собой принципиально новый подход к оценке моделей искусственного интеллекта, смещающий акцент с простого соответствия результатам на воспроизведение паттернов активности мозга. Исследования показали, что модели могут демонстрировать схожие показатели согласования, однако паттерны их согласования, измеряемые с помощью APS, могут значительно различаться. Это означает, что даже при одинаковой эффективности, различные модели могут функционировать принципиально по-разному, отражая различные способы обработки информации. Такой подход позволяет выявить не только что модель делает правильно, но и как она это делает, открывая возможности для создания более надежных и обобщенных систем искусственного интеллекта, которые лучше соответствуют принципам работы биологического мозга. Статистическая значимость (p-value < 0.05 после коррекции FDR) подтверждает соответствие между паттернами согласования, полученными на основе фМРТ и структурной связности, что подтверждает валидность данного подхода.

Переход к функциональному эквиваленту в нейроинтеллектуальных системах открывает перспективы для создания действительно устойчивого и обобщающего искусственного интеллекта. В отличие от стремления к точной имитации мозга, фокус на воспроизведении паттернов активности позволяет разрабатывать модели, способные к адаптации и эффективной работе в разнообразных условиях. Такой подход предполагает, что различные архитектуры и алгоритмы могут достигать схожих результатов, при этом демонстрируя гибкость и устойчивость к изменениям, что крайне важно для практического применения и решения сложных задач. Достижение функционального эквивалента не требует точной копии биологического мозга, а лишь воспроизведения ключевых принципов обработки информации, что значительно расширяет возможности создания интеллектуальных систем.

Продолжающиеся исследования в области нейро-ИИ обещают преодолеть разрыв между искусственным и биологическим интеллектом, открывая новую эру инноваций. Установленная статистическая значимость соответствия между паттернами выравнивания, полученными с помощью функциональной магнитно-резонансной томографии (фМРТ) и структурной связности мозга (FDR-corrected p-value < 0.05), подтверждает валидность данного подхода. Это позволяет не только оценивать, насколько хорошо искусственные системы имитируют работу мозга, но и выявлять общие принципы организации интеллекта, независимо от его физической реализации. В перспективе, подобные исследования могут привести к созданию более надежных, адаптивных и обобщающих систем искусственного интеллекта, способных решать сложные задачи, требующие креативности и интуиции, подобно человеческому мозгу.

Анализ паттернов выравнивания позволяет дифференцировать модели, кажущиеся эквивалентными по производительности, посредством сопоставления данных фМРТ (сплошные линии) и модельных данных (<span class="katex-eq" data-katex-display="false">RSA</span> и <span class="katex-eq" data-katex-display="false">APS</span> оценки), что позволяет идентифицировать наиболее соответствующие модели мозга и оценить их соответствие данным фМРТ с помощью 95% доверительных интервалов.
Анализ паттернов выравнивания позволяет дифференцировать модели, кажущиеся эквивалентными по производительности, посредством сопоставления данных фМРТ (сплошные линии) и модельных данных (RSA и APS оценки), что позволяет идентифицировать наиболее соответствующие модели мозга и оценить их соответствие данным фМРТ с помощью 95% доверительных интервалов.

Исследование закономерностей выравнивания мозга и искусственных нейронных сетей демонстрирует, что простая оценка выравнивания недостаточна для определения истинной схожести. Необходимо рассматривать не только общую меру соответствия, но и паттерны этого соответствия — как различные области мозга и модели взаимодействуют друг с другом. Мария Кюри однажды сказала: «Пусть N стремится к бесконечности — что останется устойчивым?». Эта фраза отражает суть подхода, предложенного в работе: необходимо отбросить случайные флуктуации и сосредоточиться на фундаментальных, устойчивых закономерностях, которые определяют истинную связь между мозгом и моделью. Анализ паттернов выравнивания, предложенный авторами, позволяет выделить эти устойчивые закономерности, преодолевая ограничения традиционных подходов к оценке схожести.

Куда Ведет Эта Дорога?

Представленные результаты неизбежно заставляют пересмотреть саму природу оценки соответствия между искусственными и биологическими системами. Простого выравнивания недостаточно. Оказалось, что метрики, казавшиеся ранее объективными, страдают от внутренней неопределенности — способность различать действительно похожие модели и те, что лишь кажутся таковыми, отсутствует. Это напоминает попытку измерить красоту линейкой — инструмент может быть точным, но не способен уловить суть явления.

Перспективы кроются в углублении анализа паттернов выравнивания, в отказе от оценки по абсолютным значениям в пользу изучения отношений между ними. Необходимо разработать формальные критерии, позволяющие доказать, а не просто продемонстрировать, что модель действительно отражает принципы работы мозга. Особенно важным представляется переход от статических оценок к динамическим — учет временных характеристик нейронной активности, вариативности и контекстной зависимости.

В конечном итоге, задача состоит не в создании «искусственного мозга», а в понимании того, что делает мозг таковым. Истинная проверка — не в прохождении «Ньюро-Теста Тьюринга», а в построении математически элегантной теории, способной объяснить наблюдаемые нейронные процессы с минимальным количеством допущений. И тогда, возможно, мы сможем сказать, что действительно поняли, как работает разум.

Оригинал статьи: https://arxiv.org/pdf/2604.21780.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-04-25 15:48