Как машины учатся видеть мир, как люди

от

Автор: Денис Аветисян

Новое исследование показывает, что при ограниченных ресурсах нейросети для анализа изображений формируют упрощенные представления об объектах, аналогичные тем, что использует человеческий мозг для оценки физических взаимодействий.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
Исследование направлено на выяснение, способны ли модели визуальной сегментации формировать представления об объектах, аналогичные тем, что используют люди для физического рассуждения - в частности, грубые представления о форме, позволяющие прогнозировать столкновения за счет «заполнения» вогнутых областей, при этом разные типы представлений оказываются полезными для решения различных задач, таких как физическое моделирование и распознавание объектов.
Исследование направлено на выяснение, способны ли модели визуальной сегментации формировать представления об объектах, аналогичные тем, что используют люди для физического рассуждения — в частности, грубые представления о форме, позволяющие прогнозировать столкновения за счет «заполнения» вогнутых областей, при этом разные типы представлений оказываются полезными для решения различных задач, таких как физическое моделирование и распознавание объектов.

Ограничения в обучении нейросетей приводят к формированию грубых объектных представлений, схожих с человеческим восприятием времени до столкновения и упрощенным моделям физического мира.

Несмотря на успехи современных моделей компьютерного зрения в распознавании объектов, их внутренние представления зачастую отличаются от человеческих, особенно в контексте интуитивной физики. В работе ‘Human-Like Coarse Object Representations in Vision Models’ исследуется, как модели сегментации, обученные предсказывать столкновения, формируют упрощенные, «грубые» представления объектов, аналогичные тем, что использует человек для эффективного физического рассуждения. Показано, что оптимальные представления возникают при определенных ограничениях ресурсов — умеренном времени обучения, размере модели и степени прунинга — демонстрируя обратную U-образную зависимость между сложностью представления и соответствием человеческому восприятию. Может ли этот принцип ресурсных ограничений стать ключом к созданию более эффективных и «человекоподобных» моделей, способных к более надежному физическому моделированию окружающего мира?

Предсказание столкновений: иллюзия точности

Точное предсказание столкновений, оцениваемое по показателю времени до столкновения (TTC), является основополагающим для как человеческого, так и искусственного интеллекта. Способность прогнозировать потенциальные столкновения позволяет организму или системе эффективно реагировать и избегать опасных ситуаций. В контексте человеческого восприятия, TTC напрямую связано со способностью человека оценивать траектории движения объектов и прогнозировать моменты их возможного контакта. Для искусственного интеллекта, точное вычисление TTC критически важно для автономной навигации, управления роботами и разработки систем безопасности, обеспечивая своевременное принятие решений в динамически меняющейся среде. Таким образом, оценка времени до столкновения служит ключевым индикатором эффективности систем прогнозирования и принятия решений, независимо от того, являются ли они биологическими или искусственными.

Современные методы прогнозирования столкновений, несмотря на свою теоретическую точность, сталкиваются с существенными трудностями при работе со сложными сценами. Высокая вычислительная нагрузка, необходимая для детального моделирования всех факторов, таких как траектории движения, взаимодействие объектов и физические свойства материалов, значительно замедляет процесс предсказания. Это особенно критично в динамичных средах, где требуется мгновенная реакция. Увеличение точности часто достигается за счет экспоненциального роста требуемых ресурсов, что делает применение этих моделей в реальном времени непрактичным. Таким образом, задача заключается не только в создании более точных алгоритмов, но и в разработке методов, позволяющих эффективно представлять сложные сцены, сохраняя при этом приемлемую скорость вычислений.

Человеческий мозг, сталкиваясь с необходимостью прогнозирования столкновений или траекторий движения, не стремится к детальному моделированию всей окружающей среды. Вместо этого, он формирует упрощенные, абстрактные представления, фокусируясь лишь на ключевых элементах и взаимосвязях. Этот подход позволяет значительно сократить вычислительные затраты и обеспечивает быстрое принятие решений, необходимое для эффективного взаимодействия с миром. Разработка искусственного интеллекта, способного к аналогичной эффективности, требует отказа от стремления к полной симуляции реальности и перехода к моделям, основанным на принципах упрощения и абстракции, подобно тому, как это делает человеческий мозг при прогнозировании физических событий. Такой подход позволит создавать более надежные и адаптивные системы искусственного интеллекта, способные эффективно функционировать в сложных и динамичных условиях.

Исследование сравнило реакции людей и моделей компьютерного зрения в задаче оценки времени до столкновения, выявив, что как люди, так и модели склонны предсказывать столкновение раньше фактического времени, особенно для объектов с вогнутостями, что указывает на эффект
Исследование сравнило реакции людей и моделей компьютерного зрения в задаче оценки времени до столкновения, выявив, что как люди, так и модели склонны предсказывать столкновение раньше фактического времени, особенно для объектов с вогнутостями, что указывает на эффект «заполнения» неточностей в восприятии формы.

Грубые представления: экономия ресурсов и эффективность

Сегментационные сети представляют собой эффективный инструмент для разложения сцен на отдельные объекты, однако генерация детализированных (fine-grained) представлений объектов требует значительных вычислительных ресурсов. Процесс точного выделения границ объектов и определения их мелких деталей, таких как текстура и незначительные изменения формы, приводит к увеличению объема необходимых вычислений и, как следствие, к замедлению обработки. Это особенно актуально при работе с изображениями высокого разрешения или при необходимости обработки видео в реальном времени, где скорость является критическим фактором. Вычислительная сложность возрастает пропорционально количеству пикселей и сложности модели сегментации, что делает генерацию детализированных представлений ресурсоемкой задачей.

Использование грубых объектных представлений, в которых приоритет отдается общей форме объекта, а не мелким деталям, позволяет значительно повысить вычислительную эффективность. Вместо обработки сложных, детализированных данных, система оперирует упрощенными формами, что снижает объем необходимых вычислений и потребление ресурсов памяти. Это достигается за счет уменьшения разрешения текстур, упрощения геометрии объектов и использования более простых алгоритмов обработки изображений. В результате, время обработки увеличивается, но общая производительность системы возрастает, особенно в условиях ограниченных вычислительных ресурсов.

Ограниченные вычислительные ресурсы диктуют необходимость компромисса между детализацией представления объектов и скоростью обработки данных. Применение упрощенных, менее детализированных представлений объектов позволяет существенно снизить вычислительную нагрузку, не оказывая при этом существенного влияния на общую точность предсказаний. Это достигается за счет отказа от моделирования мелких деталей, которые часто не являются критичными для решения основной задачи, например, распознавания объектов или оценки сцены. В условиях ограниченных ресурсов, таких как мобильные устройства или системы реального времени, приоритет отдается скорости обработки, а снижение детализации является приемлемой ценой для обеспечения работоспособности системы.

Восприятие окружающего мира человеком зачастую не требует анализа мельчайших деталей объектов. Вместо этого, наша визуальная система эффективно обрабатывает информацию, основываясь на общих формах и силуэтах, что позволяет быстро идентифицировать предметы и прогнозировать их поведение. Использование грубых представлений в компьютерном зрении имитирует этот процесс, позволяя системам фокусироваться на наиболее значимых характеристиках объектов для быстрого и эффективного анализа сцены, что соответствует принципам когнитивной обработки визуальной информации у людей.

Обучение в течение умеренного времени позволяет модели достичь представления тела, наиболее близкого к человеческому, при этом более крупные модели сходятся к этому состоянию быстрее, чем меньшие, что подтверждается минимальной разницей между ответами модели и человека <span class="katex-eq" data-katex-display="false">ar{E}</span>.
Обучение в течение умеренного времени позволяет модели достичь представления тела, наиболее близкого к человеческому, при этом более крупные модели сходятся к этому состоянию быстрее, чем меньшие, что подтверждается минимальной разницей между ответами модели и человека ar{E}.

U-образная кривая: баланс сложности и точности

В ходе экспериментов с моделью SegFormer было выявлено U-образное соотношение между размером модели и точностью предсказаний. Анализ показал, что оптимальная точность достигается при умеренной сложности модели, в то время как как чрезмерно большие, так и чрезмерно малые модели демонстрируют более низкие показатели. Данная зависимость указывает на то, что существует оптимальный баланс между количеством параметров и способностью модели к обобщению, при котором минимизируется ошибка предсказания. Наблюдаемая U-образная кривая подтверждается статистическими данными, полученными в результате многократных тестов с различными конфигурациями SegFormer.

Наблюдения показали, что как чрезмерно большие, так и минимальные по размеру модели демонстрируют приемлемую точность прогнозирования. В частности, модели промежуточного размера, находящиеся между этими крайностями, показали более низкую точность. Это указывает на то, что производительность не линейно зависит от размера модели, и существуют оптимальные значения, соответствующие максимальной точности, как в случае с большими, так и с маленькими моделями, в то время как промежуточные размеры демонстрируют худшие результаты. Данный феномен предполагает наличие нелинейной зависимости между сложностью модели и её способностью к обобщению.

Обрезка (pruning), метод уменьшения размера модели, может улучшить её производительность за счет смещения модели к крайним точкам U-образной кривой зависимости точности от размера. В ходе экспериментов было установлено, что удаление параметров, приводящее к уменьшению размера модели, способно повысить точность предсказаний, если конечный размер модели приближается либо к минимальным, либо к максимальным значениям, наблюдаемым в исследуемом диапазоне. Это связано с тем, что модели, находящиеся на этих крайних точках, демонстрируют более высокую точность, чем модели промежуточного размера, что делает обрезку эффективным способом оптимизации производительности.

Наблюдаемая U-образная зависимость между размером модели и точностью предсказаний указывает на то, что не только абсолютный размер модели, но и способ, которым она обучается, играет решающую роль в достижении оптимальной производительности. Эксперименты показали, что минимальная ошибка достигается при промежуточных значениях сложности модели, а как чрезмерно большие, так и чрезмерно малые модели демонстрируют худшие результаты. Это свидетельствует о том, что эффективное обучение требует баланса между способностью модели к обобщению и избежанием переобучения, и что простое увеличение размера модели не гарантирует повышение точности.

Модели среднего размера демонстрируют поведение, наиболее близкое к человеческому, после фиксированного числа шагов обучения, в то время как малые и большие модели отклоняются от него.
Модели среднего размера демонстрируют поведение, наиболее близкое к человеческому, после фиксированного числа шагов обучения, в то время как малые и большие модели отклоняются от него.

За пределами геометрии: роль вогнутости в восприятии

Исследования показали, что так называемый «эффект вогнутости» оказывает значительное влияние на восприятие объектов как у людей, так и у искусственных моделей. Этот эффект проявляется в тенденции упрощать визуальное представление вогнутых форм, что приводит к определенным искажениям в оценке их характеристик. В ходе экспериментов было установлено, что как при непосредственном восприятии изображений, так и при анализе данных моделями машинного обучения, вогнутые элементы часто недооцениваются или игнорируются, что потенциально снижает точность предсказаний и усложняет задачи визуального анализа. Таким образом, понимание и учет эффекта вогнутости является ключевым для разработки более эффективных алгоритмов компьютерного зрения и создания более реалистичных моделей человеческого восприятия.

Исследования показали, что искусственные нейронные сети, подобно человеческому восприятию, склонны к упрощению представления вогнутых форм. Этот феномен, известный как эффект упрощения, проявляется в тенденции моделей заменять сложные вогнутые контуры более простыми, прямыми линиями или плавными кривыми. Такое упрощение может приводить к снижению точности предсказаний, особенно в задачах, требующих детального анализа формы объекта, например, при распознавании предметов или прогнозировании их движения. Упрощение вогнутых форм, вероятно, является следствием стремления модели к более компактному и эффективному представлению информации, однако это может приводить к потере важных деталей, необходимых для корректного выполнения задачи.

Исследования показали, что обучение моделей искусственного интеллекта на специально разработанном синтетическом наборе данных способно значительно улучшить их производительность в задачах, связанных с восприятием и прогнозированием. Этот набор данных, отличающийся контролируемым разнообразием форм и текстур, направлен на смягчение предвзятости, проявляющейся в упрощенном представлении вогнутых объектов. Обучение на таком синтетическом наборе позволяет моделям более точно обрабатывать информацию о форме и пространственных отношениях, что приводит к повышению точности прогнозирования и снижению влияния эффекта вогнутости на конечный результат. Использование контролируемых данных позволяет целенаправленно корректировать восприятие моделей и повышать их способность к обобщению на реальных изображениях и задачах.

Исследования показывают, что визуальное представление играет ключевую роль в том, как мозг обрабатывает и предсказывает свойства объектов, особенно когда речь идет о вогнутых формах. Формирование внутреннего представления объекта, основанное на его визуальных характеристиках, существенно влияет на точность прогнозирования его дальнейшего поведения или взаимодействия с окружающей средой. Вогнутости, в частности, склонны упрощать это представление, заставляя систему восприятия делать определенные предположения о форме и структуре объекта. Этот процесс упрощения, опосредованный визуальным представлением, может приводить к систематическим ошибкам в прогнозировании, но также является важным механизмом для эффективной обработки визуальной информации и снижения когнитивной нагрузки. Таким образом, понимание того, как визуальное представление модулируется вогнутостями, необходимо для создания более точных моделей визуального восприятия и предсказания.

Обучение модели быстрее сходится на выпуклых частях объекта, что наблюдается независимо от размера модели и времени обучения, как показано на наложенных масках и картах вероятностей после 10 эпох.
Обучение модели быстрее сходится на выпуклых частях объекта, что наблюдается независимо от размера модели и времени обучения, как показано на наложенных масках и картах вероятностей после 10 эпох.

К человеческому уровню предсказания: сопоставление с данными о поведении

Оценка производительности моделей посредством сопоставления с данными о человеческом поведении позволяет установить эталон для достижения точности предсказаний, сопоставимой с человеческой. Такой подход выходит за рамки традиционных метрик, фокусируясь на способности системы не просто выдавать корректный ответ, а делать это способом, аналогичным тому, как это делает человек. Сопоставление с данными о времени реакции, паттернами взгляда и другими поведенческими показателями предоставляет более тонкое понимание того, насколько хорошо модель действительно “понимает” ситуацию и может предвидеть развитие событий. Использование данных о человеческом поведении как ориентира позволяет не только измерить прогресс в области искусственного интеллекта, но и направить дальнейшие исследования к созданию систем, способных к интуитивному и эффективному решению задач, аналогично человеку.

Исследования показали, что использование упрощенных, или “грубых”, представлений данных в сочетании с целенаправленным обучением позволяет искусственному интеллекту приблизиться к человеческому интуитивному пониманию физического мира. Вместо детальной проработки каждого аспекта, модели, обученные на таких упрощенных данных, демонстрируют удивительную способность к быстрому и точному прогнозированию развития событий. Этот подход позволяет обойти вычислительные ограничения, присущие сложным моделям, и сосредоточиться на ключевых факторах, определяющих поведение физических объектов. В результате, ИИ способен решать задачи, требующие не только анализа данных, но и предвидения последствий, что является важным шагом на пути к созданию систем, обладающих по-настоящему человеческим уровнем интеллекта.

Дальнейшие исследования должны быть направлены на интеграцию более сложных перцептивных моделей, имитирующих человеческое восприятие мира, и разработку новых парадигм обучения. В частности, перспективным направлением представляется моделирование процессов, лежащих в основе нечеткого или приблизительного восприятия, позволяющее искусственному интеллекту эффективно работать с неполной или зашумленной информацией. Параллельно необходимы эксперименты с альтернативными методами обучения, выходящими за рамки традиционных подходов, например, использование обучения с подкреплением или самообучения, чтобы обеспечить более гибкое и адаптивное поведение моделей. Успешная реализация этих направлений позволит значительно расширить возможности искусственного интеллекта в задачах, требующих быстрого и точного физического рассуждения, приближая его к человеческому уровню понимания окружающего мира.

Предложенный подход открывает значительные перспективы для развития искусственного интеллекта в областях, требующих быстрого и точного понимания физических процессов. Способность предсказывать поведение объектов и явлений в реальном времени критически важна для широкого спектра приложений — от автономных транспортных средств и робототехники до моделирования сложных систем и анализа данных в физике и инженерии. Развитие систем, способных к подобному физическому рассуждению, позволит создавать более надежные и эффективные алгоритмы, приближая ИИ к уровню человеческого восприятия и адаптации к динамично меняющемуся окружению. Это, в свою очередь, может привести к прорыву в решении задач, которые ранее считались прерогативой человеческого интеллекта, и открыть новые горизонты для применения искусственного интеллекта в различных сферах деятельности.

Умеренное удаление нейронов позволяет создавать модели, поведение которых лучше соответствует человеческому, в то время как более сильное удаление приводит к расхождениям.
Умеренное удаление нейронов позволяет создавать модели, поведение которых лучше соответствует человеческому, в то время как более сильное удаление приводит к расхождениям.

Исследование показывает, что даже при ограниченных ресурсах, модели машинного зрения развивают примитивные, но эффективные представления об объектах, напоминающие человеческое восприятие времени до столкновения. Неудивительно, что в попытке оптимизировать производительность, системы начинают мыслить категориями, достаточными для базового физического рассуждения. Как метко заметил Эндрю Ын: «Самое сложное в машинном обучении — это не создание модели, а получение данных». Иначе говоря, ограничения в обучении вынуждают систему упрощать мир, фокусируясь на существенном, подобно тому, как человек оперирует грубыми оценками для быстрого реагирования. В конечном счете, эта «ленивость» оказывается полезной, ведь элегантная теория бессильна перед суровой реальностью продакшена.

Что дальше?

Работа показывает, что даже упрощённые модели зрения, сталкиваясь с ограничениями ресурсов, начинают формировать представления об объектах, удивительно похожие на человеческие. Не стоит, однако, обольщаться. Это не прорыв в области искусственного интеллекта, а скорее закономерность. Упрощение неизбежно ведёт к приближению к примитивным, но эффективным решениям — тем, что эволюция уже отточила в биологических системах. Багтрекеры будущего будут фиксировать не столько ошибки кода, сколько последствия попыток обойти эти самые примитивные решения.

Следующий шаг — не столько улучшение моделей, сколько понимание того, какие именно упрощения оказываются наиболее полезными. Иначе говоря, какие «костыли» оказываются наиболее элегантными. Попытки создать «полное» представление о мире обречены на провал. Мы не деплоим — мы отпускаем эти модели в дикую среду, где они неизбежно столкнутся с непредсказуемостью. И тогда выяснится, что грубые аппроксимации часто оказываются надежнее, чем изысканные, но хрупкие конструкции.

Интересно, что скрам здесь ни при чём. Кажется, это просто способ убедить людей, что хаос управляем. В конечном итоге, вопрос не в том, как создать идеальную модель, а в том, как смириться с неизбежной неточностью и научиться извлекать пользу из её последствий. У нас не DevOps-культура, у нас культ DevOops.

Оригинал статьи: https://arxiv.org/pdf/2602.12486.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-16 13:23