Обучение схемами: как мозг обобщает опыт и строит абстрактные модели мира

Автор: Денис Аветисян

Новая теоретическая модель объясняет, как иерархическое активное предсказание и обучение схемами позволяют агентам быстро адаптироваться к новым задачам и эффективно использовать накопленные знания.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Иерархическая модель активного вывода, основанная на схемах (S-HAI), демонстрирует способность к формированию высокоуровневых планов, отображаемых на предпочтения в пространственной навигации, что позволяет агенту эффективно ориентироваться в среде и адаптировать стратегии перехода между целями, как подтверждается анализом переходных матриц, обученных на задачах ABCD и ABCB, где S-HAI превосходит традиционные модели за счёт обобщения опыта между блоками задач.

Предложенная схема иерархического активного предсказания (S-HAI) демонстрирует кодирование реляционной структуры в префронтальной коре головного мозга и обеспечивает быстрое обобщение опыта.

Несмотря на центральную роль схем в когнитивных процессах, механизмы их формирования и использования остаются недостаточно изученными. В статье ‘Schema-based active inference supports rapid generalization of experience and frontal cortical coding of abstract structure’ представлена новая вычислительная модель — иерархический активный вывод на основе схем (S-HAI), демонстрирующая, как агенты могут обучаться и повторно использовать абстрактные реляционные знания для быстрого обобщения и решения сложных задач. Модель S-HAI воспроизводит ключевые поведенческие характеристики быстрого обобщения на основе схем и соответствует нейронным кодам, наблюдаемым в медиальной префронтальной коре грызунов. Может ли предложенный подход пролить свет на принципы организации когнитивных карт и иерархическую обработку информации в коре головного мозга?

Пределы Линейных Последовательностей: Навигация в Неопределенности

Традиционные модели пространственной навигации зачастую оказываются неэффективными в сложных и неоднозначных средах. Исследования показывают, что при столкновении с запутанными лабиринтами или непредсказуемыми условиями, эти модели испытывают трудности с построением оптимальных маршрутов и адаптацией к изменяющимся обстоятельствам. Проблема заключается в том, что они полагаются на последовательную обработку информации и заранее заданные шаблоны поведения, что ограничивает их способность к гибкому реагированию на новые или нетипичные ситуации. В результате, даже незначительные изменения в окружающей среде могут приводить к значительным ошибкам в навигации и снижению эффективности действий, что подчеркивает необходимость разработки более совершенных систем, способных учитывать контекст и использовать альтернативные стратегии ориентации.

Традиционные модели пространственной навигации, основанные на последовательной обработке информации, зачастую демонстрируют ограниченную способность к адаптации в незнакомых или изменяющихся условиях. Исследования показывают, что зависимость от заранее заданных цепочек действий препятствует эффективному усвоению новых структур задач и снижает возможность обобщения полученного опыта. Когда привычная последовательность нарушается, система сталкивается с трудностями в перестройке стратегии поведения, что приводит к снижению производительности и увеличению времени, необходимого для освоения новой задачи. Данное ограничение подчеркивает необходимость разработки более гибких систем, способных к абстрактному представлению задач и использованию реляционных знаний для успешной навигации в сложных и динамичных средах.

Возникает потребность в системах, способных использовать реляционные знания и абстрактные представления задач. Традиционные модели пространственной навигации, основанные на последовательной обработке информации, часто оказываются неэффективными в сложных и неоднозначных условиях. Вместо запоминания конкретных последовательностей действий, более перспективным представляется подход, при котором система формирует представление о взаимосвязях между элементами среды и целями. Это позволяет ей гибко адаптироваться к новым задачам и изменять стратегии поведения, не прибегая к полному переобучению. Развитие таких систем требует новых алгоритмов, способных эффективно извлекать и использовать реляционные знания, а также формировать компактные и обобщенные представления о задачах, что открывает путь к созданию более интеллектуальных и адаптивных навигационных систем.

Проблема эффективного использования накопленного опыта для адаптации поведения в новых ситуациях представляет собой ключевую задачу в области когнитивной науки и искусственного интеллекта. Исследования показывают, что традиционные модели обучения часто ограничены в своей способности обобщать знания, полученные в одной среде, на принципиально иные контексты. Способность быстро извлекать релевантные паттерны из прошлого опыта и применять их к новым задачам требует не просто запоминания последовательностей действий, но и формирования абстрактных представлений о структуре задач и взаимосвязях между элементами среды. Эффективное кодирование и использование этих отношений позволяет системе не просто «воспроизводить» ранее изученные решения, но и генерировать новые, оптимальные стратегии поведения в условиях неопределенности и изменения окружающей среды, что особенно важно для сложных, динамичных систем и адаптивного обучения.

Сравнительный анализ агентов, использующих и не использующих схемы, в задачах ABCD и ABCB показал, что обучение с использованием схем (S-HAI K, S-HAI L, S-HAI-2C K, S-HAI-2C L) значительно повышает эффективность, снижает количество шагов, необходимых для достижения цели, и улучшает кумулятивное вознаграждение, при этом анализ вероятностей обоснования и относительного расстояния к подцелям демонстрирует стабильность и улучшение производительности в процессе обучения, что подтверждается статистическими данными в дополнительных таблицах S1-S4.

Схема-Основанная Иерархическая Активная Инференция: Новый Подход

Агент S-HAI использует двухъярусную архитектуру, объединяющую навигацию на низком уровне и инференцию, основанную на схемах, на высоком уровне. Нижний уровень отвечает за непосредственное восприятие окружающей среды и выполнение моторных команд, обеспечивая базовую пространственную ориентацию и перемещение. Верхний уровень, в свою очередь, оперирует абстрактными схемами — реляционными структурами знаний, — которые позволяют агенту прогнозировать будущие состояния среды и планировать действия, не привязанные к конкретным сенсорным данным. Такое разделение позволяет агенту эффективно обрабатывать информацию и адаптироваться к сложным и динамичным условиям, используя схемы для обобщения опыта и предсказания наиболее вероятных исходов.

Иерархическая структура агента S-HAI, основанная на принципах активного вывода, обеспечивает прогнозирование и минимизацию неопределенности на различных уровнях абстракции. Это достигается за счет разделения задачи на низкоуровневое пространственное ориентирование и высокоуровневый вывод, основанный на схемах. На нижнем уровне агент прогнозирует сенсорные данные, связанные с непосредственным окружением, а на верхнем — предсказывает и разрешает неопределенность, связанную с более абстрактными отношениями и целями. Такой многоуровневый подход позволяет агенту эффективно обрабатывать сложные и динамичные среды, снижая вычислительную нагрузку и повышая адаптивность за счет последовательного уменьшения неопределенности на каждом уровне иерархии.

Второй уровень агента S-HAI использует абстрактные схемы — реляционные структуры знаний, представляющие собой не просто набор фактов, а взаимосвязи между объектами и событиями. Эти схемы позволяют агенту обобщать опыт и предсказывать будущие состояния среды, не ограничиваясь непосредственным сенсорным вводом. Вместо реакции на конкретные стимулы, агент оперирует абстрактными представлениями, что обеспечивает гибкое поведение в различных ситуациях и возможность быстро адаптироваться к новым условиям. Например, схема «еда находится в контейнере» позволяет агенту успешно находить пищу даже в незнакомых местах, где конкретный контейнер отличается от тех, с которыми он сталкивался ранее.

Агент, использующий схематическую иерархическую активную инференцию (S-HAI), демонстрирует получение вознаграждений, близких к оптимальным, в различных динамических средах. В ходе экспериментов зафиксировано значительное превосходство S-HAI агента над агентами, не использующими схемы, по скорости обучения и эффективности достижения целей. Конкретные результаты показывают, что S-HAI агент способен адаптироваться к изменяющимся условиям среды и быстро осваивать новые задачи, обеспечивая стабильно высокие показатели вознаграждения, приближающиеся к теоретическому максимуму для данной среды.

Эксперименты в лабиринтах ABCD и ABCB показали, что агенты, использующие схематическое обучение (S-HAI K, S-HAI L) превосходят случайных агентов и агентов, обученных на меньшем количестве блоков, по таким показателям, как среднее количество шагов для завершения задачи, кумулятивная награда и нормализованная награда, причем использование графов-клонов (S-HAI-2C) дополнительно повышает эффективность обучения.

Заземление Абстракции: Связь Схем с Пространственной Реальностью

Агент S-HAI устанавливает связь между абстрактными схемами и физическим окружением посредством механизма «Вероятности Обоснования» (Grounding Likelihood). Этот механизм позволяет оценивать соответствие предсказаний, сделанных на основе абстрактных схем, текущему состоянию окружающей среды. Вероятность обоснования рассчитывается на основе наблюдений, полученных из физического окружения, и используется для корректировки и уточнения абстрактных представлений. Фактически, это количественная оценка того, насколько хорошо абстрактная схема «заземлена» в реальности, обеспечивая возможность адаптации и обучения агента в изменяющихся условиях. Высокая вероятность обоснования указывает на соответствие схемы реальности, в то время как низкая вероятность сигнализирует о необходимости пересмотра и обновления абстрактного представления.

Первый уровень агента S-HAI, отвечающий за пространственную навигацию, предоставляет конкретные пространственные состояния, необходимые для интерпретации и проверки предсказаний, формируемых абстрактными схемами. Эти состояния, полученные непосредственно из восприятия окружающей среды, служат основой для оценки соответствия между абстрактным планом действий и реальным положением агента в пространстве. Фактически, уровень 1 выступает в роли «ядра реальности», предоставляя данные для валидации и корректировки схем, что позволяет агенту адаптироваться к изменяющимся условиям и избегать ошибок, вызванных несоответствием между абстрактным представлением мира и его фактическим состоянием. Предоставляемые пространственные состояния включают в себя информацию о местоположении агента, ориентации, а также данные о препятствиях и доступных путях.

Связь между абстрактными схемами и физической реальностью в S-HAI Agent обеспечивается за счет графов причинно-следственных связей с клонированной структурой (Clone-Structured Causal Graphs, CSCG). CSCG позволяют эффективно выводить состояние окружающей среды (state inference) в первом уровне (Level 1), ответственном за пространственную навигацию. Клонированная структура графа обеспечивает параллельную обработку информации и снижение вычислительной сложности, что ускоряет процесс обучения и адаптации агента к новым условиям. Эффективность CSCG обусловлена их способностью моделировать вероятностные зависимости между наблюдаемыми и скрытыми переменными, что критически важно для точной оценки текущего состояния среды.

Агенты, использующие графы причинно-следственных связей с клонированной структурой (CSCG), продемонстрировали повышенную эффективность в задачах, включающих неоднозначные наблюдения (алиасы). Экспериментальные данные показали, что CSCG позволяют более точно интерпретировать входные данные даже при наличии нескольких объектов, воспринимаемых как идентичные, поскольку структура графа обеспечивает эффективное отслеживание и разрешение неопределенностей. Это улучшение производительности указывает на то, что механизм привязки к реальности, реализованный через CSCG, позволяет агентам более надежно ориентироваться и действовать в сложных и неоднозначных средах, где традиционные методы могут давать сбои из-за неспособности различить объекты с похожим внешним видом.

Обучение с использованием схем и смеси вероятностей позволяет агенту S-HAI MoGL R успешно решать задачу ABCD, адаптируясь к повторяющимся блокам и эффективно используя ранее полученный опыт, что подтверждается нормализованной наградой и анализом апостериорного распределения переменной выбора <span class="katex-eq" data-katex-display="false">zz</span> для выбора между созданием новой вероятности или повторным использованием существующей. — Обучение с использованием схем и смеси вероятностей позволяет агенту S-HAI MoGL R успешно решать задачу ABCD, адаптируясь к повторяющимся блокам и эффективно используя ранее полученный опыт, что подтверждается нормализованной наградой и анализом апостериорного распределения переменной выбора $zz$ для выбора между созданием новой вероятности или повторным использованием существующей.

Нейронные Основы: Биологическое Вдохновение и Валидация

Архитектура агента S-HAI разработана с учетом ключевых аспектов организации млекопитающих, в частности, сложного взаимодействия между гиппокампом, энторинальной корой и префронтальной корой. Энторинальная кора, известная своими «клетки-сетки», обеспечивает основу для пространственного отображения, подобно тому, как это происходит в мозге, позволяя агенту ориентироваться и создавать внутренние карты. Гиппокамп, в свою очередь, играет роль в формировании и представлении схем, позволяя агенту обобщать опыт и предсказывать будущие события. Префронтальная кора, являясь центром исполнительных функций, отвечает за схематическое умозаключение и принятие решений, аналогично тому, как она функционирует в мозге, координируя сложные когнитивные процессы и направляя поведение агента. Такое биомиметическое проектирование позволяет агенту S-HAI демонстрировать интеллектуальные способности, опирающиеся на проверенные временем принципы нейронной организации.

Архитектура первого уровня S-HAI Agent основана на принципах пространственной навигации, воспроизводя функциональность энторинальной коры и гиппокампа. Клетки сетки, обнаруженные в энторинальной коре, обеспечивают основу для формирования внутренней карты среды, позволяя агенту кодировать и представлять пространственные отношения. В свою очередь, гиппокамп играет ключевую роль в формировании схем и представлений, объединяя информацию о пространстве и опыте для создания сложных когнитивных структур. Подобный подход позволяет агенту эффективно обрабатывать и использовать информацию об окружающей среде, создавая основу для более сложных процессов принятия решений и планирования, что имитирует механизмы, наблюдаемые в мозге млекопитающих.

Лобная кора играет ключевую роль в процессах схематического вывода и принятия решений, что находит отражение в архитектуре второго уровня S-HAI агента. Исследования показывают, что именно в этой области мозга происходит интеграция информации, необходимой для прогнозирования будущих событий и выбора оптимальных стратегий поведения. Агент, подобно биологической системе, использует накопленные схемы для оценки различных вариантов и формирования наиболее вероятного исхода, что позволяет ему эффективно решать сложные задачи и адаптироваться к изменяющимся условиям. Такое соответствие между моделью и нейронными данными подтверждает, что S-HAI агент не просто имитирует когнитивные процессы, но и воспроизводит их биологические основы, открывая новые возможности для понимания механизмов принятия решений в мозге.

Результаты моделирования S-HAI Agent продемонстрировали воспроизведение паттернов активности, аналогичных тем, что наблюдаются у грызунов в медиальной префронтальной коре, в частности, у так называемых “клеток прогресса к цели”. Эти клетки активируются не только при приближении к цели, но и отражают прогресс в процессе достижения, формируя внутреннюю репрезентацию текущего статуса задачи. Воспроизведение подобных паттернов в искусственной системе подтверждает биологическую обоснованность архитектуры S-HAI Agent и свидетельствует о том, что модель способна эффективно кодировать и использовать информацию о прогрессе в решении задач, подобно тому, как это происходит в мозге млекопитающих. Такое совпадение активности предоставляет убедительные доказательства валидности модели и ее способности отражать ключевые аспекты когнитивных процессов, лежащих в основе целеполагания и планирования.

Моделирование нейронной активности в S-HAI показывает, что активность «goal-progress» клеток, кодирующая ожидаемые затраты на достижение цели (от фиолетового в начале до жёлтого в конце), отражает прогресс агента в задаче ABCD, а активация состояний первого и второго уровней визуализирует траекторию движения и фазу выполнения задачи.

Исследование демонстрирует, как агент способен к быстрому обобщению опыта благодаря использованию абстрактных реляционных знаний — концепция, тесно связанная с иерархическим активным выводом (S-HAI). Этот процесс напоминает взлом сложной системы, где понимание структуры позволяет предсказывать и контролировать её поведение. Как говорил Генри Дэвид Торо: «Если человек не пойдет навстречу своим мечтам, то жизнь сама пойдет навстречу его кошмарам». В данном случае, ‘кошмарами’ можно считать неспособность адаптироваться к новым задачам, а S-HAI — инструмент для активного противостояния этой угрозе, позволяющий преобразовывать незнакомое в понятное и предсказуемое.

Что дальше?

Предложенная схема иерархического активного вывода, основанная на схемах, демонстрирует элегантность, с которой агент может выстраивать внутреннюю модель мира, используя реляционные структуры. Однако, за этой элегантностью скрывается неизбежная сложность: как масштабировать эту систему до реально сложных сред? Как обеспечить её устойчивость к шуму и неполноте данных, ведь даже самые тщательно выстроенные предсказания рано или поздно сталкиваются с непредсказуемостью реальности. Каждый «патч» — улучшение способности модели адаптироваться — это, по сути, философское признание её изначальной неполноты.

Интересно, как данная модель соотносится с феноменом «интуиции» — мгновенного распознавания паттернов, минуя сознательный анализ. Возможно, «схемы» — это не просто вычислительные конструкции, но и нейронные следы прошлого опыта, формирующие фильтр восприятия. Понимание этого потребует тесной интеграции с нейробиологией, особенно с исследованиями префронтальной коры — области, отвечающей за абстрактное мышление и планирование.

В конечном счете, самый лучший «хак» — это осознание того, как всё работает. Иначе говоря, недостаточно построить модель мира, необходимо понимать ограничения этой модели и признавать, что всегда найдется ошибка, которую еще предстоит обнаружить. Ведь даже самое совершенное предсказание — это всего лишь гипотеза, ожидающая своего опровержения.

Оригинал статьи: https://arxiv.org/pdf/2601.18946.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-29 04:16