Искусственный разум под контролем: Как бороться с «галлюцинациями» в моделях, понимающих изображения

Автор: Денис Аветисян

Новый подход позволяет снизить склонность мультимодальных моделей генерировать неправдоподобную информацию, основанную на визуальных данных.

Рассмотренная система выявляет внутренние конфликты между обоснованными и необоснованными путями для локализации причинного ядра, используя очищенное экспертное внимание, а затем применяет двустороннее причинно-следственное управление с помощью устойчивого векторной разности, противодействующей нестабильности отдельных контрфактических состояний, и, наконец, осуществляет адаптивную калибровку достоверности для снижения вероятности возникновения стойких галлюцинаций.

Предложена методика Vision-Language Introspection (VLI) для снижения «галлюцинаций» в больших мультимодальных языковых моделях посредством интерпретируемого двустороннего управления латентным пространством.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Несмотря на впечатляющие возможности мультимодальных больших языковых моделей, склонность к галлюцинациям, то есть генерации не соответствующих действительности объектов, существенно ограничивает их надежность. В работе ‘Vision-Language Introspection: Mitigating Overconfident Hallucinations in MLLMs via Interpretable Bi-Causal Steering’ предложен новый подход, Vision-Language Introspection (VLI), имитирующий процесс метакогнитивной самокоррекции для снижения частоты галлюцинаций. VLI позволяет выявлять риски галлюцинаций посредством анализа конфликтов и точной локализации визуальных ориентиров, а затем активно модулировать процесс вывода, изолируя релевантные визуальные данные и калибруя уверенность модели. Способны ли подобные методы самоанализа кардинально повысить надежность и точность мультимодальных моделей в реальных приложениях?

Иллюзии в Мультимодальных Моделях: Природа и Проявления

Мультимодальные большие языковые модели (MLLM) демонстрируют впечатляющие возможности в обработке информации, однако, как ни парадоксально, склонны к “галлюцинациям” объектов — генерации контента, не подкрепленного визуальным вводом. Это проявляется в описании предметов или деталей, которых на самом деле нет на изображении, что вызывает серьезные опасения относительно надежности этих моделей в критически важных приложениях. Несмотря на способность понимать и интерпретировать визуальную информацию, MLLM иногда “придумывают” несуществующие объекты, что свидетельствует о сложностях в процессе привязки лингвистических конструкций к реальным визуальным данным. Данное явление подчеркивает необходимость разработки более надежных механизмов для обеспечения соответствия генерируемого контента фактическому визуальному контексту.

Иллюзии, возникающие в мультимодальных больших языковых моделях, часто обусловлены их опорой на предварительно сформированные лингвистические представления, а не на фактическое содержание визуального ввода. Модели, обученные на огромных текстовых корпусах, склонны генерировать описания, соответствующие статистическим закономерностям языка, даже если они не соответствуют изображению. Это происходит из-за ослабления связи между языком и визуальными данными, когда модель отдает предпочтение лингвистическим шаблонам перед непосредственным восприятием визуальной информации. В результате, даже при наличии четкого визуального стимула, модель может «придумать» объекты или детали, которых там нет, полагаясь на свои языковые ожидания, а не на фактическое содержание изображения.

Существующие методы анализа больших мультимодальных языковых моделей испытывают значительные трудности в определении моментов и причин возникновения галлюцинаций — генерации контента, не соответствующего визуальным данным. Неспособность точно локализовать и объяснить эти ошибки препятствует надежному применению моделей в критически важных областях, таких как медицинская диагностика или автономное вождение. Традиционные подходы часто фокусируются на общей точности, не предоставляя детального анализа внутренних процессов, приводящих к неверным интерпретациям визуальной информации. Это затрудняет разработку эффективных стратегий смягчения последствий галлюцинаций и повышения доверия к результатам, выдаваемым моделями, особенно в ситуациях, где требуется высокая степень надежности и ответственности.

Результаты тестирования моделей на наборе данных MMHAL-BENCH показывают, что более высокий балл соответствует меньшей склонности к галлюцинациям и большей информативности генерируемых ответов, при этом оценка «Общая» представляет собой среднее значение по всем категориям.

Визуально-Языковая Интроспекция: Механизм Самокоррекции

Механизм Vision-Language Introspection (VLI) представляет собой подход, не требующий обучения, для снижения частоты галлюцинаций объектов в задачах обработки изображений и естественного языка. В отличие от методов, требующих модификации архитектуры модели или дополнительного обучения, VLI использует процесс, имитирующий метакогнитивную самокоррекцию. Это достигается путем анализа внутренних состояний модели и выявления потенциальных несоответствий между различными путями декодирования, что позволяет корректировать выходные данные без необходимости в дополнительных параметрах или данных для обучения. Таким образом, VLI обеспечивает снижение вероятности генерации несуществующих объектов или атрибутов на основе только анализа текущих выходных данных модели.

Механизм обнаружения интроспективных конфликтов (Introspective Conflict Detection) в Vision-Language Introspection (VLI) основан на анализе расхождений между различными путями декодирования в модели. В процессе декодирования, модель генерирует несколько гипотез относительно объектов, присутствующих на изображении. Обнаружение конфликтов происходит при существенном разбросе вероятностей, присвоенных этим гипотезам, что указывает на неопределенность модели и потенциальную возможность галлюцинации объекта. Анализ этих расхождений позволяет выявить моменты, когда модель склонна к ошибкам, до того как они проявятся в конечном результате, обеспечивая возможность самокоррекции и повышения надежности визуального восприятия.

Механизм “Очистки Внимания” (Attention Purification) в рамках VLI направлен на повышение точности локализации объектов и снижение влияния ложных корреляций в процессе декодирования. Он заключается в подавлении внимания к нерелевантным областям изображения, основываясь на анализе расхождений между различными путями декодирования. Это достигается путем перевешивания карт внимания, что позволяет модели концентрироваться на визуальных признаках, наиболее соответствующих текущей задаче и контексту, и тем самым улучшает «заземление» (grounding) предсказаний и уменьшает вероятность галлюцинаций объектов.

Анализ оценок внутрипроцессных конфликтов для LLaVA-1.5 на девяти примерах из MMHal-Bench показывает, что высота каждого столбца соответствует расхождению Кульбака-Лейблера между путями с обоснованием и без него, при этом красная пунктирная линия обозначает порог риска конфликта <span class="katex-eq" data-katex-display="false"> heta = 0.10</span>, используемый для запуска интроспекции. — Анализ оценок внутрипроцессных конфликтов для LLaVA-1.5 на девяти примерах из MMHal-Bench показывает, что высота каждого столбца соответствует расхождению Кульбака-Лейблера между путями с обоснованием и без него, при этом красная пунктирная линия обозначает порог риска конфликта $heta = 0.10$ , используемый для запуска интроспекции.

Заземление Латентного Пространства с Помощью Би-Каузального Управления

В основе VLI лежит механизм Bi-Causal Steering, который предполагает создание контрфактических изображений — Context-Only и Anchor-Only — для корректировки латентного представления. Context-Only изображения генерируются путем удаления визуальных якорей из исходного изображения, в то время как Anchor-Only изображения содержат только эти якоря на нейтральном фоне. Сравнение предсказаний, сделанных на основе исходного, Context-Only и Anchor-Only изображений, позволяет выявить и скорректировать те части латентного пространства, которые отвечают за нежелательные корреляции или смещения, обеспечивая более точное и контролируемое генерирование изображений.

В процессе работы VLI анализирует разницу в предсказаниях, полученных на основе исходного изображения, изображения, сформированного только на основе контекста (Context-Only), и изображения, сформированного только на основе якоря (Anchor-Only). Данный анализ позволяет выделить визуальные признаки, критически важные для точной генерации изображения. Отклонения в предсказаниях между этими изображениями указывают на те пиксели и особенности, которые оказывают наибольшее влияние на результат, тем самым обеспечивая возможность изолировать и использовать именно эти признаки для улучшения качества генерируемых изображений.

Процесс создания маски причинно-следственных связей (Causal Anchor Mask) позволяет выделить пиксели изображения, напрямую влияющие на предсказание модели. Данная маска формируется на основе анализа разницы в предсказаниях, полученных с использованием исходного изображения, а также изображений, модифицированных в рамках Bi-Causal Steering (Context-Only и Anchor-Only). Выделение этих критически важных пикселей обеспечивает усиление визуального обоснования (visual grounding) и позволяет модели более точно связывать визуальные признаки с целевым результатом, повышая надежность и интерпретируемость генерации изображений.

Анализ визуальных якорей позволяет выявить различные закономерности в зависимости от сценария.

Уточнение Внимания и Оценка Уверенности: Ключевые Механизмы

Механизм очистки внимания (Attention Purification) использует отбор экспертных голов (Expert Head Selection) и кумулятивный энергетический порог (Cumulative Energy Thresholding) для повышения точности фокусировки модели. Отбор экспертных голов предполагает идентификацию и приоритезацию голов внимания, демонстрирующих высокую точность локализации объектов на изображении. Кумулятивный энергетический порог динамически регулирует вклад каждой головы внимания, отсеивая те, которые вносят незначительный или нерелевантный вклад в процесс локализации, что позволяет модели концентрироваться на наиболее информативных областях изображения и повышает общую точность определения местоположения объектов.

Адаптивная калибровка достоверности измеряет когнитивный диссонанс и наказывает необоснованную уверенность, предотвращая уверенное генерирование галлюцинаций. Этот процесс включает в себя оценку расхождений между различными источниками информации внутри модели, что позволяет выявить случаи, когда модель выдает ответ с высокой уверенностью, но без достаточных оснований в предоставленных данных. Штраф за необоснованную уверенность реализуется путем снижения вероятности таких предсказаний, что способствует более осторожному и обоснованному поведению модели. Данный механизм направлен на повышение надежности и достоверности генерируемого контента, минимизируя вероятность выдачи ложной информации.

Механизмы очистки внимания и адаптивной калибровки уверенности функционируют совместно, обеспечивая согласованность между предсказаниями модели и подтверждающими визуальными данными. Очистка внимания, посредством отбора экспертных голов и пороговой фильтрации энергии, фокусирует модель на наиболее релевантных участках изображения. Одновременно, адаптивная калибровка уверенности оценивает степень когнитивного конфликта и штрафует необоснованную уверенность в предсказаниях, не имеющих визуального подтверждения. В результате, модель не только генерирует предсказания, основанные на визуальной информации, но и оценивает степень своей уверенности в этих предсказаниях, предоставляя более надежные и обоснованные результаты.

Тепловая карта показывает распределение максимальной интенсивности внимания по слоям и головам, демонстрируя, как внимание распределяется между различными частями модели.

Надежная Оценка и Перспективы Развития: Взгляд в Будущее

Исследования показали, что разработанная система VLI демонстрирует существенные улучшения в оценке и снижении феномена «галлюцинаций» объектов в задачах компьютерного зрения. Применение VLI позволило добиться значимых результатов на специализированных бенчмарках, таких как POPE Benchmark и MMHal-Bench Benchmark, предназначенных для выявления и измерения склонности моделей к генерации несуществующих объектов или атрибутов. Полученные данные свидетельствуют о способности системы более точно и надежно интерпретировать визуальную информацию, что особенно важно для приложений, требующих высокой степени достоверности, например, в автономных системах или медицинском анализе изображений. Успешное прохождение этих тестов подтверждает эффективность предложенного подхода к снижению галлюцинаций и открывает перспективы для дальнейшего развития и применения в различных областях.

Разработанная платформа демонстрирует существенное снижение частоты галлюцинаций в задачах визуального вопросно-ответного анализа, достигая улучшения до 12.67% по сравнению с передовыми методами. Помимо этого, точность оценки POPE (Perception-Oriented Prompt Engineering) повышается на 6.33%, что свидетельствует о более надежной интерпретации визуальной информации и генерации осмысленных ответов. Эти результаты подтверждают эффективность предложенного подхода в снижении склонности моделей к «выдумыванию» несуществующих объектов или атрибутов, что крайне важно для обеспечения достоверности и надежности систем искусственного интеллекта, работающих с мультимодальными данными.

В ходе всестороннего тестирования, разработанная система VLI продемонстрировала впечатляющие результаты на ключевых бенчмарках, предназначенных для оценки проблемы галлюцинаций в мультимодальных моделях. В частности, при использовании модели Qwen3-VL, VLI достигла общего балла в 4.32 по шкале MMHal-Bench, что свидетельствует о значительном улучшении способности системы к точному восприятию и интерпретации визуальной информации. Более того, на датасете A-OKVQA, VLI обеспечила повышение точности POPE на 6.23%, что подтверждает эффективность предложенного подхода к снижению частоты возникновения ложных или нерелевантных ответов, генерируемых моделью. Эти результаты демонстрируют, что VLI является перспективным решением для повышения надежности и достоверности мультимодальных систем искусственного интеллекта.

При использовании параллельной реализации, разработанная система VLI демонстрирует впечатляющую скорость обработки, составляя всего 95.41 миллисекунды на токен. Такая эффективность достигается благодаря оптимизации вычислений и распределению нагрузки между несколькими вычислительными ядрами, что позволяет системе оперативно обрабатывать сложные мультимодальные данные и генерировать результаты в реальном времени. Это критически важно для практического применения VLI в интерактивных приложениях и сценариях, требующих мгновенной обратной связи, обеспечивая плавную и отзывчивую работу даже при обработке больших объемов информации.

Перспективы развития предложенного фреймворка VLI ориентированы на расширение его функциональности для решения более сложных мультимодальных задач, выходящих за рамки текущих тестов. Исследователи планируют адаптировать VLI для обработки данных, требующих глубокого понимания контекста и сложных взаимосвязей между различными модальностями. Кроме того, ведется активная работа по изучению возможностей интеграции VLI с другими методами снижения галлюцинаций, что позволит создать еще более надежную и точную систему. Цель состоит в том, чтобы не только уменьшить количество ложных ответов, но и повысить общую способность модели к генерации осмысленных и релевантных результатов в широком спектре приложений, включая анализ изображений, обработку видео и понимание естественного языка.

Анализ чувствительности к гиперпараметрам показывает, что предложенный метод обеспечивает стабильную производительность ± стандартное отклонение для моделей LLaVA-1.5 и Qwen3-VL, превосходя их исходную производительность.

Исследование демонстрирует важность понимания внутренних механизмов работы мультимодальных больших языковых моделей. Авторы предлагают метод Vision-Language Introspection, позволяющий снизить склонность моделей к галлюцинациям путём выявления и корректировки внутренних конфликтов. Этот подход особенно ценен, поскольку не требует дополнительного обучения, а работает за счёт тонкой настройки латентных представлений. Как заметил Ян Лекун: «Машинное обучение — это обучение представлений». Иными словами, эффективная работа модели напрямую зависит от качества и интерпретируемости её внутренних представлений, что и подтверждается предложенным методом би-каузального управления латентным пространством.

Куда Ведет Нас Взгляд?

Представленная работа, подобно точному микроскопу, позволила заглянуть внутрь работы больших мультимодальных моделей. Однако, даже при детальном исследовании, остается открытым вопрос: достаточно ли простого выявления “галлюцинаций”? Ведь сама природа языка — это конструирование реальности, а не её точное отражение. Задача не в полном искоренении этих “фантазий”, а в понимании, когда и зачем модель к ним прибегает. Будущие исследования должны сместить фокус с простого подавления неверных ответов на изучение когнитивных механизмов, лежащих в их основе.

Особый интерес представляет возможность расширения концепции “двунаправленного управления” (bi-causal steering) за пределы визуального домена. Как можно применить аналогичные методы для коррекции внутренних противоречий в текстовой части модели? Иными словами, сможет ли модель самостоятельно “переосмыслить” свои утверждения, опираясь на внутреннюю логику и контекст? Подобный подход потребует разработки новых метрик оценки, учитывающих не только точность ответа, но и степень “когнитивной согласованности” модели.

В конечном счете, ключевым вызовом остается создание моделей, способных не просто выдавать правильные ответы, а демонстрировать признаки истинного понимания. Необходимо помнить, что модель — это лишь инструмент, а не разумное существо. Попытки наделить её человеческими качествами, такими как “саморефлексия” и “уверенность”, могут привести к ложным выводам и неоправданным ожиданиям. Истинный прогресс заключается в углублении понимания принципов работы этих сложных систем, а не в антропоморфизации.

Оригинал статьи: https://arxiv.org/pdf/2601.05159.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-11 20:29