Разумный мир: Искусственный интеллект, познающий физику через взаимодействие

от

Автор: Денис Аветисян

Новая система искусственного интеллекта учится понимать и применять законы физики, взаимодействуя с игровыми мирами и обобщая полученные знания.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
Обучение с использованием конвейера IPR включает в себя предварительное обучение модели дискретных действий PhysCode на основе видеоклипов с оптическим потоком и семантикой действий, последующее обучение мировой модели, предсказывающей будущие признаки и вознаграждения на основе текущих признаков и последовательностей PhysCode, и, наконец, усиленное предсказанием рассуждение, в котором VLM генерирует последовательности PhysCode, а мировая модель использует их для выбора оптимальных действий и оптимизации политики VLM.
Обучение с использованием конвейера IPR включает в себя предварительное обучение модели дискретных действий PhysCode на основе видеоклипов с оптическим потоком и семантикой действий, последующее обучение мировой модели, предсказывающей будущие признаки и вознаграждения на основе текущих признаков и последовательностей PhysCode, и, наконец, усиленное предсказанием рассуждение, в котором VLM генерирует последовательности PhysCode, а мировая модель использует их для выбора оптимальных действий и оптимизации политики VLM.

В статье представлена парадигма IPR, объединяющая модели «зрение-язык», физически ориентированные коды действий и модели мира для обучения и масштабирования физического рассуждения.

Несмотря на успехи в области визуально-языковых моделей и мировых моделей, достижение устойчивого, человекоподобного физического рассуждения остается сложной задачей. В данной работе, представленной под названием ‘IPR-1: Interactive Physical Reasoner’, предлагается новый подход, объединяющий возможности визуально-языковых моделей, мировых моделей и физически-ориентированных кодов действий для обучения агентов через интерактивное взаимодействие в разнообразных игровых средах. Полученные результаты демонстрируют, что IPR превосходит существующие модели, в том числе GPT-5 по показателям любопытства, и демонстрирует устойчивую производительность при увеличении количества обучающих игр и шагов взаимодействия. Может ли физически-ориентированное взаимодействие стать ключевым фактором в создании действительно разумных агентов, способных к комплексному физическому рассуждению?

За пределами реактивных агентов: потребность в предсказуемых мирах

Традиционные агенты, обучаемые с подкреплением, зачастую функционируют как реактивные системы, не обладающие способностью к проактивному планированию. Их действия определяются исключительно текущими стимулами и непосредственным вознаграждением, что ограничивает эффективность в сложных и динамичных средах. Вместо предвидения последствий и разработки долгосрочных стратегий, такие агенты лишь реагируют на уже произошедшие события. Этот подход особенно проблематичен в ситуациях, где успех требует не только быстроты реакции, но и способности прогнозировать развитие событий и адаптироваться к изменяющимся условиям, лишая агента возможности оптимизировать свои действия для достижения долгосрочных целей. В результате, такие системы демонстрируют ограниченную гибкость и уязвимость перед непредвиденными обстоятельствами.

В сложных и динамично меняющихся средах, традиционные агенты, полагающиеся исключительно на реакцию на текущие стимулы, демонстрируют ограниченную эффективность. Отсутствие способности предвидеть последствия действий и планировать наперед существенно снижает их производительность. В таких условиях, когда ситуация постоянно меняется и требует немедленной адаптации, простая реакция оказывается недостаточной для достижения оптимальных результатов. Агент, лишенный возможности прогнозировать будущие состояния и вознаграждения, сталкивается с трудностями в принятии решений, что приводит к снижению общей эффективности и затрудняет достижение поставленных целей. Неспособность к предвидению особенно критична в ситуациях, требующих долгосрочного планирования и учета множества факторов.

Современные исследования в области искусственного интеллекта демонстрируют значительный прогресс в создании агентов, способных не просто реагировать на текущие обстоятельства, но и предсказывать будущие состояния и вознаграждения. Вместо пассивного ответа на внешние стимулы, такие агенты активно моделируют окружающий мир, прогнозируя последствия своих действий на несколько шагов вперёд. Этот прогностический подход позволяет им разрабатывать более эффективные стратегии, избегать потенциальных опасностей и оптимизировать достижение поставленных целей даже в сложных и динамичных средах. Вместо простого определения $Q$-функции на основе текущего наблюдения, агенты обучаются предсказывать не только непосредственную награду, но и долгосрочные последствия, что открывает возможности для планирования и принятия решений на основе прогнозируемой выгоды.

Обучение на более чем тысяче разнообразных игр позволяет агенту выявить общие физические принципы и успешно адаптироваться к новым, ранее невиданным играм.
Обучение на более чем тысяче разнообразных игр позволяет агенту выявить общие физические принципы и успешно адаптироваться к новым, ранее невиданным играм.

Обучение с предсказанием: модель-ориентированный подход

Обучение с подкреплением, основанное на предсказаниях (Prediction-Reinforced Learning, PRL), представляет собой структуру, в которой агент формирует внутреннюю модель окружающей среды и использует её для предсказания последствий своих действий. В рамках этой модели, агент не просто реагирует на текущее состояние, а активно прогнозирует, как его действия изменят это состояние, и какие награды или штрафы последуют. Внутренняя модель может быть реализована с использованием различных подходов, включая нейронные сети, и обновляется на основе расхождений между предсказанными и фактическими результатами. Это позволяет агенту планировать свои действия, основываясь на предвидении будущих событий, а не только на непосредственном опыте.

Алгоритмы, такие как Deep Deterministic Policy Gradient (DDPG) и Multi-task PPO, широко используются в качестве базовых решений для сравнения при разработке новых методов обучения с подкреплением. Однако, в отличие от Prediction-Reinforced Learning (PRL), они не обладают встроенной способностью к предсказанию последствий действий. DDPG и Multi-task PPO напрямую обучают политику, максимизирующую вознаграждение, не формируя явной модели окружающей среды или предсказывая будущие состояния. Это означает, что они полагаются на прямой опыт взаимодействия со средой для улучшения политики, в то время как PRL использует внутреннюю модель для прогнозирования и, следовательно, может более эффективно планировать и адаптироваться к новым ситуациям, требуя меньше фактических взаимодействий.

Усиление внутренней модели на основе точности предсказаний является ключевым механизмом обучения в Prediction-Reinforced Learning (PRL). Вместо прямого обучения политике, агент получает вознаграждение за корректное предсказание последствий своих действий, что приводит к формированию надежной стратегии навигации в среде. Этот процесс позволяет агенту эффективно планировать и выбирать действия, максимизирующие долгосрочное вознаграждение, поскольку точность предсказания напрямую коррелирует с оптимальным поведением. Таким образом, агент неявно обучается политике, оптимизируя свою внутреннюю модель мира и используя её для принятия решений.

Мировые модели: симулирование реальности для расширенного обучения

Мировая модель функционирует посредством предсказания будущих состояний среды и получаемых вознаграждений на основе скрытых действий агента. Этот процесс позволяет создать симулированную среду, в которой агент может исследовать потенциальные последствия своих действий и оптимизировать свою политику без необходимости непосредственного взаимодействия с реальным миром. Предсказание осуществляется на основе латентного пространства действий, что позволяет моделировать динамику среды и оценивать долгосрочные последствия, формируя внутреннее представление о физических законах и взаимодействиях.

Использование симуляции, созданной на основе модели мира, позволяет агенту исследовать потенциальные последствия своих действий и совершенствовать свою политику (стратегию поведения) без непосредственного взаимодействия с реальной средой. Это достигается путем прогнозирования будущих состояний и вознаграждений на основе смоделированных действий, что позволяет агенту «тренироваться» в виртуальной среде и оптимизировать свои решения перед применением их в реальном мире. Такой подход значительно снижает потребность в дорогостоящих и потенциально опасных экспериментах в реальной среде, а также ускоряет процесс обучения за счет возможности проведения множества симуляций в короткий промежуток времени.

Использование латентного пространства действий упрощает процесс обучения и обобщения, позволяя агенту функционировать в более низкоразмерном представлении. Вместо непосредственного управления каждым параметром действия, агент оперирует с латентными переменными, которые затем декодируются в конкретные действия. Это снижает сложность пространства поиска и позволяет агенту быстрее осваивать новые задачи и обобщать полученные знания на ранее не встречавшиеся ситуации. Уменьшение размерности пространства действий также способствует улучшению эффективности обучения, поскольку агент может исследовать больше вариантов действий за единицу времени и избегать проклятия размерности, что особенно важно при обучении в сложных и многомерных средах.

Наши исследования показали, что разработанный подход демонстрирует устойчивую производительность и эффективный перенос обучения на новые задачи в рамках разнообразного набора из 1000+ игр. Это подтверждает потенциал интерактивных агентов к обучению и масштабированию способностей к физическому моделированию посредством взаимодействия со средой. Существующие фреймворки, такие как Genie, также демонстрируют возможности World Models и служат эталонной точкой для сравнения и оценки эффективности предлагаемого метода.

Иерархия интеллекта: от выживания к полезности

Для оценки прогресса агентов в развитии интеллекта была применена концепция, основанная на иерархии потребностей Маслоу. Этот подход позволяет структурировать уровни оценки, начиная с базовых инстинктов самосохранения и продвигаясь к исследованию мира, движимому любопытством, и, наконец, к достижению конкретных целей и практической пользе. Такой метод оценки позволяет последовательно измерять способность агента не просто реагировать на окружающую среду, но и активно исследовать ее, а затем использовать полученные знания для решения поставленных задач и повышения эффективности действий. Оценка строится таким образом, чтобы отобразить переход от простых рефлексов к сложным, целенаправленным поведенческим стратегиям.

Предлагаемая структура оценки позволяет последовательно проанализировать развитие интеллекта агента, начиная с простейших реакций на окружающую среду и заканчивая способностью к дальновидному планированию. Вместо оценки интеллекта как единого показателя, данный подход выделяет отдельные уровни, отражающие возрастающую сложность поведения. Начальный этап характеризуется исключительно рефлекторными действиями, необходимыми для выживания. По мере развития, агент демонстрирует любопытство и стремление к исследованию, что позволяет ему накапливать знания о мире. Наконец, высшим уровнем является способность к целеполаганию и разработке стратегий для достижения конкретных результатов. Такая детализированная оценка позволяет не только измерить общий прогресс, но и выявить сильные и слабые стороны агента, направляя дальнейшие исследования и разработки.

Агент, разработанный в рамках данного исследования, продемонстрировал выдающиеся результаты по всем уровням оценки интеллекта. Достигнув максимального балла в 1.00 по параметру «Выживание», что свидетельствует о его способности эффективно реагировать на критические ситуации, он также показал наивысший результат среди сравниваемых методов по шкале «Любопытство», получив значение AUC 2.77. Этот показатель указывает на высокую мотивацию к исследованию окружающей среды и самостоятельному обучению. Наконец, агент достиг балла 1.23 по шкале «Полезность», подтверждая свою способность к целенаправленному поведению и выполнению задач. Сочетание высоких результатов по всем трем параметрам демонстрирует всестороннюю развитость интеллекта агента и его потенциал для решения сложных проблем.

Комбинация обучения с подкреплением на основе прогнозируемой награды (PRL) и построения внутренней “модели мира” представляет собой перспективный подход к созданию агентов, способных к сложным и целенаправленным действиям. Внутренняя модель мира позволяет агенту предсказывать последствия своих действий и планировать последовательности действий для достижения поставленных целей, выходя за рамки простой реактивности. Такой подход позволяет агенту не просто реагировать на текущую ситуацию, но и предвидеть будущее, оценивать различные стратегии и выбирать оптимальный путь к успеху, что критически важно для решения задач, требующих долгосрочного планирования и адаптации к изменяющимся условиям. Исследования показывают, что агенты, использующие данный подход, демонстрируют повышенную эффективность в сложных средах и способны к более гибкому и эффективному поведению по сравнению с традиционными методами обучения с подкреплением.

Представленная работа демонстрирует стремление к упрощению сложного — создания агентов, способных к физическому рассуждению через взаимодействие с миром. Идея использования физически ориентированных кодов действий и мировых моделей позволяет отделить суть от нагромождения деталей, подобно удалению лишних слов из предложения. Тим Бернерс-Ли однажды сказал: «Смысл сети — это не информация, а связи между людьми». Аналогично, в IPR-1, суть не в сложности модели, а в способности устанавливать связи между восприятием, действием и пониманием физического мира. Перенос обучения из игровых сред в неизвестные ситуации подчеркивает важность ясности и минимализма в структуре знаний — ведь именно так достигается масштабируемость и адаптивность.

Что дальше?

Представленная работа, стремясь к интерактивному физическому рассуждению, лишь обнажает глубину нерешенных вопросов. Идея объединения языковых моделей, кодов действий, ориентированных на физику, и моделей мира, несомненно, перспективна, однако истинная проверка заключается не в количестве объединенных компонентов, а в их изящной простоте. Система, требующая пространных объяснений своей работы, уже проиграла.

Очевидным ограничением остается зависимость от конкретных игровых сред. Переход к реальному миру, с его бесконечным разнообразием и непредсказуемостью, потребует не просто масштабирования, а принципиально иного подхода к представлению знаний. Понятие «перенос обучения» теряет смысл, если агент не способен к обобщению, к выделению инвариантных принципов, лежащих в основе физических явлений.

Будущие исследования должны сосредоточиться не на увеличении сложности, а на ее сокращении. Поиск минимального набора принципов, достаточного для адекватного моделирования физического мира, — вот истинная задача. И в этом поиске ясность — не просто добродетель, а необходимость.

Оригинал статьи: https://arxiv.org/pdf/2511.15407.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-20 16:52