Где всё на своём месте: проверка пространственного мышления генеративных моделей

Автор: Денис Аветисян

Новое исследование выявляет слабые места современных моделей преобразования текста в изображения в понимании и воспроизведении сложных пространственных взаимосвязей.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Исследование выявило случаи ошибок в восприятии, рассуждениях и взаимодействии с пространством у современных мультимодальных моделей, таких как GPT-Image-1, Qwen-Image и Bagel, подчеркивая несоответствие между форматами запросов и методами оценки, используемыми в текущих бенчмарках.

Представлен новый бенчмарк SpatialGenEval и датасет для оценки и улучшения способности моделей к пространственному рассуждению.

Несмотря на впечатляющий прогресс в генерации изображений по текстовому описанию, современные модели часто испытывают трудности с пониманием и воспроизведением сложных пространственных взаимосвязей. В работе ‘Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models’ представлен новый бенчмарк SpatialGenEval и датасет SpatialT2I, предназначенные для всесторонней оценки и улучшения пространственного интеллекта моделей генерации изображений. Полученные результаты демонстрируют, что текущие модели испытывают значительные затруднения в понимании и воссоздании сложных пространственных отношений, а использование информационно насыщенных промптов и специализированных данных позволяет добиться существенного улучшения (+4.2% — +5.7%) в реалистичности и точности отображения пространственных сцен. Сможем ли мы создать модели, способные не просто генерировать изображения, но и «понимать» и достоверно отображать окружающий мир?

Пространственное мышление ИИ: где кроется проблема?

Современные текстово-графические модели, несмотря на впечатляющий прогресс, зачастую испытывают трудности при точном воссоздании сложных пространственных взаимосвязей. Это проявляется в неточном расположении объектов, нарушении их относительных размеров и искажении перспектив, что существенно снижает реалистичность сгенерированных изображений. Например, модели могут неправильно интерпретировать фразы, описывающие расположение объектов «перед», «за», «над» или «под» другими, приводя к неестественным и нелогичным сценам. Ограниченность в понимании пространственных отношений не только ухудшает визуальное качество, но и препятствует использованию этих моделей в задачах, требующих точного визуального представления информации, таких как проектирование, робототехника и создание виртуальной реальности.

Несмотря на стремительное развитие генеративных моделей «текст-в-изображение», прогресс в области пространственного интеллекта — способности рассуждать о взаимосвязях в пространстве — замедляется из-за отсутствия систематической оценки. В настоящее время, оценка возможностей моделей строится преимущественно на субъективном восприятии или общих метриках, что не позволяет точно определить, какие именно аспекты пространственного мышления вызывают затруднения. Отсутствие стандартизированных, детализированных тестов, способных выявить конкретные ошибки в понимании относительного положения объектов, масштаба, ориентации и других пространственных параметров, препятствует целенаправленной разработке и совершенствованию алгоритмов. В результате, модели часто демонстрируют впечатляющие результаты в общих случаях, но легко терпят неудачу при решении задач, требующих точного и последовательного пространственного рассуждения.

Существующие методы оценки качества генерации изображений по текстовым запросам зачастую оказываются недостаточно детализированными для выявления конкретных ошибок в понимании пространственных отношений. Вместо точного определения, где именно модель допустила промах в расположении объектов или в их взаимном расположении, оценка сводится к общему суждению о реалистичности изображения. Это затрудняет процесс отладки и совершенствования алгоритмов, поскольку разработчикам сложно определить, какие именно аспекты пространственного мышления требуют улучшения. В результате, даже при кажущемся успехе в генерации «правдоподобных» сцен, модели могут допускать неуловимые, но критичные ошибки в пространственной логике, что ограничивает их применимость в задачах, требующих высокой точности визуального представления информации.

Процесс SpatialGenEval включает в себя генерацию изображения на основе интеграции десяти пространственных ограничений и последующую оценку этого изображения по десяти вопросам, что позволяет получить комплексную оценку пространственного интеллекта.

SpatialGenEval: новый эталон для оценки пространственного интеллекта

SpatialGenEval представляет собой новый оценочный набор данных, разработанный для специализированной оценки пространственного интеллекта моделей преобразования текста в изображение. В отличие от существующих бенчмарков, которые часто ограничиваются простой идентификацией объектов на сгенерированных изображениях, SpatialGenEval фокусируется на оценке способности моделей понимать и воспроизводить сложные пространственные конфигурации и взаимосвязи между объектами. Это достигается за счет использования сценариев, требующих не только распознавания объектов, но и их корректного размещения в пространстве относительно друг друга, что позволяет более точно измерить уровень пространственного мышления модели.

В основе SpatialGenEval лежит использование 1230 детальных текстовых запросов, охватывающих 25 реалистичных сцен. Эти запросы намеренно сформулированы как длинные и насыщенные информацией, что позволяет проверить способность моделей к пониманию и воспроизведению сложных пространственных конфигураций и взаимосвязей между объектами. Конструкция запросов направлена на создание ситуаций, требующих от модели не просто распознавания объектов, но и точного определения их положения, ориентации и взаиморасположения в пространстве, что существенно повышает сложность задачи генерации изображения.

Для точной оценки типов пространственных ошибок, допущенных моделями преобразования текста в изображение, в составе SpatialGenEval используется 12 300 вопросов с множественным выбором. Данные вопросы охватывают все аспекты пространственных отношений, представленных в 1230 промптах, и позволяют выявить недостатки в понимании модели таких параметров, как относительное положение объектов, их размеры, ориентация и взаимное расположение. Формат вопросов с множественным выбором позволяет количественно оценить частоту различных типов ошибок и провести детальный анализ слабых мест моделей в области пространственного мышления.

SpatialGenEval генерирует изображения на основе детализированных запросов, охватывающих все 10 поддоменов пространственного мышления, и оценивает их с помощью 10 вопросов с множественным выбором.

Оценка и улучшение пространственного мышления с помощью LLM

Оценочный конвейер использует модели Gemini 2.5 Pro для генерации текстовых запросов, которые затем служат основой для создания изображений. Для оценки корректности пространственных отношений, отображенных на сгенерированных изображениях, применяется модель Qwen2.5-VL-72B. Данная модель анализирует изображения и выявляет несоответствия в расположении объектов и их взаимодействии в пространстве, обеспечивая количественную оценку качества пространственного рассуждения модели генерации изображений.

Применение SpatialGenEval к моделям генерации изображений, таким как Stable Diffusion, UniWorld-V1 и OmniGen2, выявило устойчивые недостатки в области пространственного мышления. Анализ показал, что модели демонстрируют снижение производительности в задачах, требующих понимания пространственных отношений между объектами (Spatial Reasoning) и корректного отображения взаимодействий между ними (Spatial Interaction). Данные результаты указывают на необходимость дальнейших исследований и разработки методов улучшения пространственного интеллекта в генеративных моделях.

Применение тонкой настройки моделей генерации изображений с использованием датасета SpatialT2I позволило добиться прироста производительности до +5.7% для UniWorld-V1, +4.2% для Stable Diffusion-XL и +4.4% для OmniGen2. Данные результаты демонстрируют эффективность SpatialT2I в качестве эталонного набора данных для улучшения способности моделей к пространственному рассуждению и генерации корректных изображений с точки зрения пространственных отношений между объектами.

Проведенный анализ 23 передовых моделей преобразования текста в изображение в рамках разработанного SpatialGenEval, включающего 10 пространственных областей и 25 реальных сцен, позволил составить рейтинг общей производительности и детально оценить их возможности.

К более разумному ИИ: перспективы пространственного интеллекта

Разработка датасета SpatialT2I представляет собой значительный шаг в совершенствовании возможностей моделей преобразования текста в изображения (T2I). Этот набор данных, специально разработанный для усиления навыков пространственного мышления, позволяет моделям более точно интерпретировать и воспроизводить сложные пространственные отношения, описанные в текстовых запросах. В отличие от существующих датасетов, часто фокусирующихся на визуальных атрибутах объектов, SpatialT2I делает акцент на взаимосвязях между ними — положении, ориентации, расстоянии. Это приводит к генерации изображений, которые не только визуально привлекательны, но и соответствуют логике и физическим законам, что критически важно для приложений, требующих надежного понимания окружающего пространства. Иначе говоря, мы учим модели не просто «видеть», а понимать, как устроен мир.

Улучшение базовых навыков пространственного мышления, восприятия и общего пространственного интеллекта оказывает кумулятивный эффект на способность моделей генерировать изображения. Исследования показывают, что более глубокое понимание пространственных отношений позволяет создавать визуализации, которые не только более реалистичны, но и внутренне согласованы, избегая нелогичных или невозможных сцен. Это достигается за счет усовершенствования алгоритмов, способных точно представлять и воспроизводить трехмерные структуры, расстояния и взаимосвязи между объектами. В результате, генерируемые изображения становятся более правдоподобными и убедительными, открывая новые возможности для применения в различных областях, требующих точного визуального представления реальности. Каждая деталь имеет значение, и лишь правильное понимание взаимосвязей позволяет создать действительно убедительную иллюзию.

Исследования в области пространственного интеллекта имеют далеко идущие последствия для широкого спектра приложений, требующих точного понимания окружающего пространства. В частности, это касается робототехники, где надежное восприятие и навигация в трехмерной среде критически важны для выполнения сложных задач. В виртуальной реальности улучшенное пространственное понимание позволяет создавать более реалистичные и захватывающие впечатления, устраняя диссонанс между виртуальным и воспринимаемым миром. Кроме того, для автономных навигационных систем, таких как беспилотные автомобили и дроны, способность точно определять местоположение, прогнозировать траектории и избегать препятствий напрямую зависит от развитого пространственного интеллекта, обеспечивая безопасность и эффективность передвижения в реальном времени. В конечном счете, все сводится к способности машины «видеть» мир так, как видим его мы, и действовать в нем разумно.

Исследование показывает, что даже самые передовые генеративные модели сталкиваются с трудностями при точном воспроизведении пространственных взаимосвязей. Это закономерно. Как отмечает Ян Лекун: «Всё, что оптимизировано, рано или поздно оптимизируют обратно». Стремление к скорости и масштабируемости часто приводит к упрощению моделей, жертвуя способностью к детальному и логичному представлению мира. SpatialGenEval выявляет эту проблему, демонстрируя, что текущие метрики оценки не всегда отражают реальную «пространственную грамотность» модели. Архитектура, безусловно, не схема, а компромисс, переживший деплой, и в данном случае этот компромисс проявляется в ограниченности понимания базовых принципов геометрии и физики.

Куда же мы движемся?

Представленный анализ пространственного интеллекта генеративных моделей, безусловно, выявил пробелы. И это неудивительно. Каждая новая архитектура, обещающая «понимание» контекста, неизменно сталкивается с банальной неспособностью корректно изобразить «левее», «сверху» или «между». SpatialGenEval — это лишь очередной способ формализовать то, что опытный инженер и так знает: красивые картинки — это иллюзия, а реальность — это всегда гонка с багами.

В будущем, вероятно, появятся ещё более сложные бенчмарки и датасеты, с ещё более изощрёнными тестовыми случаями. Но стоит помнить: все эти метрики — лишь прокси. Истинное «понимание» пространства моделями — это, скорее всего, недостижимый идеал. Вместо этого, вероятно, мы увидим всё более изощрённые методы «затыкания дыр» и обхода ограничений, которые, в конечном итоге, превратятся в очередной техдолг.

Впрочем, это и не плохо. Ведь именно в этой бесконечной гонке между теорией и практикой и рождается прогресс. И пусть тесты всегда будут зелёными — это лишь говорит о том, что они проверяют не то, что нужно. А значит, работы впереди ещё много.

Оригинал статьи: https://arxiv.org/pdf/2601.20354.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-31 10:05