Роботы, которые не забывают: как «заметки на полях» улучшают сложные задачи

Автор: Денис Аветисян

Новый подход к обучению роботов позволяет им эффективно решать многоэтапные задачи, требующие запоминания и использования информации о последовательности действий и расположении объектов.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

В предложенной архитектуре, виртуальная локальная память (VLA) формирует и непрерывно обновляет «черновик» — внешнее хранилище, которое служит входным контекстом для всех последующих шагов, создавая таким образом явный, динамически развивающийся след собственного поведения.

Исследователи представили механизм «языкового буфера», расширяющий возможности моделей «зрение-язык-действие» за счет добавления механизмов временной и пространственной памяти.

Многие задачи манипулирования в робототехнике требуют учета предыдущих действий, однако современные модели «зрение-язык-действие» зачастую не способны эффективно работать с долгосрочной памятью. В работе ‘Notes-to-Self: Scratchpad Augmented VLAs for Memory Dependent Manipulation Tasks’ предложен способ расширения возможностей этих моделей за счет добавления языкового «блокнота» для запоминания информации об объектах и ходе выполнения плана. Данный подход позволяет значительно улучшить обобщающую способность моделей при решении задач, требующих как пространственного, так и временного планирования, что подтверждено экспериментами в симулированных средах и на реальном роботе. Возможно ли дальнейшее развитие этой концепции для создания более автономных и интеллектуальных робототехнических систем?

Память робота: Когда теория сталкивается с реальностью

Традиционные робототехнические системы, основанные на марковских процессах принятия решений, демонстрируют ограниченные возможности при решении задач, требующих долгосрочной памяти и последовательного рассуждения. В рамках данной модели каждое взаимодействие рассматривается как изолированное событие, что препятствует использованию накопленного опыта для улучшения будущих действий. Неспособность учитывать прошлые события существенно ограничивает потенциал роботов в сложных, динамичных средах, где последовательность действий и контекст играют ключевую роль. В результате, роботы, функционирующие на основе марковских процессов, часто сталкиваются с трудностями при выполнении задач, требующих планирования на длительный период или адаптации к изменяющимся условиям, что подчеркивает необходимость разработки более совершенных систем памяти и обучения.

Традиционные алгоритмы управления роботами, несмотря на свою вычислительную мощность, часто рассматривают каждое взаимодействие с окружающей средой как изолированное событие. Это приводит к тому, что робот не способен эффективно использовать накопленный опыт для улучшения своих будущих действий. Вместо того, чтобы извлекать уроки из прошлых ошибок и успехов, система каждый раз начинает «с чистого листа», что значительно ограничивает её адаптивность и способность к обучению в динамичной среде. Отсутствие механизма сохранения и применения опыта препятствует развитию у робота навыков, требующих последовательного рассуждения и долгосрочного планирования, что существенно снижает его эффективность при решении сложных, реальных задач.

Для создания действительно интеллектуальных роботов, способных к выполнению сложных задач в реальном мире, необходима принципиально новая, более устойчивая и адаптируемая система памяти. Традиционные подходы, рассматривающие каждое взаимодействие как изолированное событие, оказываются неэффективными при решении задач, требующих долгосрочного планирования и использования накопленного опыта. Такая система должна не просто хранить информацию о прошлых действиях, но и уметь извлекать из неё полезные закономерности, обобщать полученные знания и применять их для оптимизации поведения в новых, ранее не встречавшихся ситуациях. Разработка подобной системы памяти является ключевой задачей, определяющей способность робота к обучению, адаптации и эффективному взаимодействию со сложной окружающей средой.

Оценка проводилась на примере задач из набора ClevrSkills-Mem, требующих учета предыдущих действий.

Видение, язык и действие: Новый фундамент для роботов

Модели «Зрение-Язык-Действие» (VLA) представляют собой существенный прогресс в области искусственного интеллекта, объединяя возможности визуального восприятия, понимания естественного языка и прогнозирования действий. В отличие от традиционных систем, которые обрабатывают каждый из этих аспектов изолированно, VLA модели способны интегрировать информацию из визуальных данных (например, изображения или видео) с лингвистическими инструкциями и использовать это для предсказания или выполнения конкретных действий. Такой подход позволяет создавать системы, способные понимать сложные запросы, интерпретировать визуальный контекст и планировать последовательность действий для достижения поставленной цели, что открывает новые возможности для робототехники, автоматизации и взаимодействия человека с машиной.

Модели «Видение-Язык-Действие» (VLA) создаются на основе больших языковых моделей (LLM) и моделей «Видение-Язык» (VLM), что обеспечивает мощную основу для управления роботами и логических выводов. LLM предоставляют возможности обработки и генерации естественного языка, позволяя моделям VLA понимать инструкции и планировать последовательности действий. VLM, в свою очередь, обеспечивают способность воспринимать и интерпретировать визуальную информацию из окружающей среды. Комбинирование этих двух типов моделей позволяет VLA не только понимать цели, выраженные в текстовой форме, но и связывать их с визуальными данными, а затем генерировать последовательности действий, необходимые для достижения этих целей, что делает их перспективными для широкого спектра задач автоматизации и робототехники.

Несмотря на значительный прогресс, модели Визуально-Языкового-Действия (VLA) имеют ограничения, связанные с объемом хранимой информации в длинных последовательностях. Эта проблема затрудняет выполнение сложных задач, требующих долгосрочного планирования и учета контекста, накопленного на протяжении длительного взаимодействия с окружающей средой. Ограниченная «память» VLA приводит к потере релевантной информации при обработке больших объемов данных, что негативно сказывается на точности прогнозирования действий и принятии обоснованных решений. Для преодоления данного ограничения необходимы усовершенствования архитектуры VLA, направленные на расширение возможностей удержания информации и эффективной обработки длинных последовательностей данных.

Дополняя VLA «черновиком памяти»: Внешний буфер для роботов

В архитектуре Scratchpad-Augmented VLAs используется языковой буфер (Language Scratchpad) для хранения и извлечения информации о прошлых взаимодействиях, что функционально эквивалентно созданию внешней памяти. Этот буфер позволяет модели сохранять данные о предыдущих наблюдениях и действиях, и впоследствии использовать их для принятия решений в текущей ситуации. В отличие от традиционных моделей, которые ограничены объемом внутренней памяти, использование внешнего буфера позволяет значительно расширить возможности по запоминанию и использованию контекста, что особенно важно для задач, требующих сохранения информации на протяжении длительного времени и/или больших объемов данных.

Языковой буфер (scratchpad), использующий как временную (Temporal Memory), так и пространственную (Spatial Memory) память, позволяет роботу восстанавливать информацию о предыдущих наблюдениях и выполненных действиях. Временная память хранит последовательность событий во времени, обеспечивая доступ к недавней истории взаимодействия. Пространственная память, в свою очередь, позволяет роботу связывать наблюдения и действия с конкретными местами или объектами в окружающей среде. Комбинация этих двух типов памяти значительно улучшает производительность робота в задачах, требующих запоминания и использования предыдущего опыта, например, в навигации, манипулировании объектами и планировании действий в сложных сценариях.

Для эффективной адаптации мощной архитектуры OpenVLA к нашей системе, использующей внешнюю память, был применен метод тонкой настройки с использованием LoRA (Low-Rank Adaptation). LoRA позволяет обучать лишь небольшое количество дополнительных параметров, что значительно снижает вычислительные затраты и потребление памяти по сравнению с полной перенастройкой модели. Этот подход обеспечивает сохранение предварительно обученных знаний OpenVLA, одновременно оптимизируя модель для работы с информацией, хранящейся во внешней памяти, и улучшая её способность к решению задач, требующих запоминания и использования предыдущего опыта.

Результаты на бенчмарке ClevrSkills-Mem демонстрируют, что использование scratchpad улучшает успешность моделей на всех пяти задачах, что подтверждается средним показателем успешности, рассчитанным для 50 запусков с разными начальными условиями.

Проверка и производительность на ClevrSkills-Mem: Доказательство концепции

Для оценки разработанного подхода использовался бенчмарк ClevrSkills-Mem, специально разработанный для тестирования роботизированных политик, требующих использования памяти. ClevrSkills-Mem включает в себя набор задач, направленных на проверку способности робота сохранять и применять прошлый опыт для решения текущих задач. Бенчмарк позволяет количественно оценить эффективность различных подходов к управлению памятью в робототехнике и выявить наиболее перспективные решения для создания интеллектуальных роботизированных систем, способных к адаптивному поведению и обучению на основе прошлого опыта.

Результаты оценки на наборе данных ClevrSkills-Mem демонстрируют значительное превосходство моделей, дополненных Scratchpad, над базовыми моделями. Средний прирост производительности по всем задачам ClevrSkills-Mem составил 48.8%. Данный показатель отражает существенное улучшение способности моделей к решению задач, требующих использования памяти и накопленного опыта, по сравнению со стандартными подходами.

При оценке на бенчмарке ClevrSkills-Mem наблюдалось существенное улучшение производительности по отдельным задачам. В частности, точность выполнения задачи Touch-Reset-Pick возросла на 68%, задачи Swap — на 72%, Place-Next-to-Restore — на 68%, а Stack-and-Topple — на 30%. Данные результаты демонстрируют эффективность предложенного подхода к повышению надежности и точности манипуляций робота в задачах, требующих запоминания и использования предыдущего опыта.

Интеграция языкового буфера (Language Scratchpad) позволяет роботу эффективно использовать накопленный опыт для повышения точности и эффективности выполнения задач. Буфер функционирует как внешняя память, в которой робот сохраняет и извлекает информацию о предыдущих попытках и результатах, что позволяет ему адаптироваться к изменяющимся условиям и избегать повторения ошибок. Этот механизм позволяет модели не только запоминать последовательности действий, но и обобщать знания, полученные в процессе взаимодействия с окружением, что критически важно для решения сложных задач, требующих планирования и долгосрочной памяти.

Анализ средней длины траекторий в среде ClevrSkills-Mem показывает, что задачи, включающие манипуляции с восстановлением положения объектов (<span class="katex-eq" data-katex-display="false">TRP</span>, <span class="katex-eq" data-katex-display="false">PNR</span>, <span class="katex-eq" data-katex-display="false">RR</span>), требуют больше шагов, чем задачи, связанные со сборкой или обменом (<span class="katex-eq" data-katex-display="false">ST</span>, <span class="katex-eq" data-katex-display="false">Sp</span>). — Анализ средней длины траекторий в среде ClevrSkills-Mem показывает, что задачи, включающие манипуляции с восстановлением положения объектов ( $TRP$ , $PNR$ , $RR$ ), требуют больше шагов, чем задачи, связанные со сборкой или обменом ( $ST$ , $Sp$ ).

К более разумным и адаптивным роботам: Взгляд в будущее

Данная работа демонстрирует значительный потенциал систем памяти, дополненных возможностями обработки естественного языка, для повышения интеллекта и адаптивности робототехнических систем. Вместо традиционных методов, полагающихся на жестко запрограммированные алгоритмы, предлагаемый подход позволяет роботам накапливать и использовать опыт, выраженный в текстовой форме. Это позволяет им не только выполнять задачи в новых, ранее не встречавшихся ситуациях, но и более эффективно адаптироваться к изменениям в окружающей среде. Благодаря способности связывать действия с языковыми описаниями, роботы способны обобщать полученные знания и применять их к решению схожих задач, существенно расширяя спектр их возможностей и приближая их к уровню человеческого интеллекта в контексте выполнения сложных манипуляций и навигации.

Предоставление роботам способности обучаться на основе прошлого опыта открывает новые перспективы для их автономной работы в сложных условиях. Вместо жесткого программирования для каждой конкретной ситуации, системы, основанные на памяти и извлечении уроков из предыдущих действий, позволяют роботам адаптироваться к изменяющейся обстановке и эффективно решать задачи. Такой подход имитирует человеческую способность к обучению и позволяет значительно повысить надежность и продуктивность роботов в реальных условиях, где заранее невозможно предвидеть все возможные сценарии. Возможность накапливать и использовать знания о прошлых успехах и неудачах позволяет роботам избегать повторения ошибок и оптимизировать свои действия, что особенно важно в динамичных и непредсказуемых средах.

В ходе экспериментов с манипуляциями реального мира, включающими захват, перемещение и возвращение объектов на свои места, разработанный подход продемонстрировал успешное выполнение подзадач в 65% случаев. Этот результат свидетельствует о значительном прогрессе в области повышения надежности и адаптивности робототехнических систем в сложных, неструктурированных условиях. Достигнутая эффективность указывает на потенциал данной технологии для автоматизации широкого спектра задач, требующих точного и гибкого взаимодействия с окружающим миром, что открывает новые перспективы для применения роботов в логистике, производстве и других отраслях.

Дальнейшие исследования направлены на расширение возможностей предложенных систем памяти для роботов, с целью их адаптации к более широкому спектру задач. Особое внимание будет уделено увеличению масштабируемости этих систем, чтобы они могли эффективно обрабатывать и использовать значительно больший объем информации, полученной в процессе обучения. Планируется исследовать возможности применения данной технологии не только в манипулятивных задачах, таких как захват и перемещение объектов, но и в более сложных областях, включая автономную навигацию и взаимодействие с динамично меняющейся средой. Успешная реализация этих исследований позволит создать роботов, способных к более гибкому и эффективному выполнению задач в реальных условиях, приближая их к уровню человеческого интеллекта и адаптивности.

Исследование показывает, что добавление простого «ящика для записок» в модель Vision-Language-Action, как это сделано в данной работе, неожиданно повышает её способность к решению задач, требующих запоминания и последовательных действий. Это не ново. Как заметил Кен Томпсон: «Простота — это высшая степень совершенства». Кажется, разработчики снова открыли велосипед, пытаясь усложнить архитектуру. Удивительно, как часто элегантное решение оказывается эффективнее сложных конструкций. Идея использования «временной памяти» для координации действий в пространстве — предсказуемо эффективна, но её реализация через «скрэтчпад» вызывает лёгкую усмешку. Все эти бесконечные циклы и рекуррентные сети… Это лишь современное переосмысление старых приёмов. Впрочем, если тесты показывают работоспособность — пусть будет так. Главное, чтобы через год не пришлось всё это переписывать.

Что дальше?

Предложенный механизм «скретчпада» для моделей «зрение-язык-действие» — очередной шаг в бесконечном стремлении научить машину выполнять задачи, которые кажутся элементарными для человека. Впрочем, стоит помнить: каждая «революция» в области искусственного интеллекта неизбежно порождает новые, более изощрённые ошибки. Добавление «памяти» — это хорошо, но кто сказал, что эта память будет надёжной? Или что модель сможет адекватно оценить, какую информацию сохранить, а какую — забыть? Уверен, скоро появятся работы, посвященные «галлюцинациям памяти» и «забывчивости» моделей.

Очевидно, что проблема не ограничивается только «временной» и «пространственной» памятью. Реальный мир полон неопределённости и неполной информации. Модель, которая не умеет справляться с этими факторами, быстро столкнётся с трудностями даже в самых простых сценариях. Так что, вероятно, следующая волна исследований будет посвящена разработке механизмов «неопределённой памяти» или, как это сейчас модно называть, «робастной памяти». Или, что более вероятно, кто-нибудь просто изобретёт новый фреймворк, который «решит все проблемы», пока не сломается в продакшене.

В конечном счете, всё новое — это просто старое с худшей документацией. Этот «скретчпад» — не исключение. Он, вероятно, станет ещё одним слоем абстракции, который усложнит отладку и поддержку. Но такова уж судьба инженеров — вечно латать дыры в очередном «инновационном» продукте. Или, как говорят в DevOps, — смириться и автоматизировать.

Оригинал статьи: https://arxiv.org/pdf/2602.21013.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-25 17:49