Зрение через ИИ: Как незрячие пользователи настраивают ответы на вопросы о картинках

Автор: Денис Аветисян

Новое исследование показывает, как незрячие пользователи адаптируют системы визуального вопросно-ответного ИИ для более эффективного взаимодействия с окружающим миром.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

В исследовании использованы методы бинарной обратной связи, детально разъясненные в формате диалога, цепочечного логического вывода в процессе анализа данных и явного указания уровня визуального восприятия, что позволило добиться более глубокого понимания механизмов обратной связи.

Исследование посвящено изучению методов кастомизации систем VQA для незрячих пользователей и выявлению потребностей в персонализированных ассистивных технологиях.

Несмотря на успехи генеративных моделей искусственного интеллекта, специализированные инструменты визуального вопросно-ответного диалога для незрячих пользователей по-прежнему отличаются жесткими схемами взаимодействия. В исследовании ‘Say It My Way: Exploring Control in Conversational Visual Question Answering with Blind Users’ изучается, как 11 незрячих пользователей настраивают взаимодействие с системой, чтобы адаптировать ее к своим потребностям и контексту повседневной жизни. Анализ 418 взаимодействий показал, что пользователи активно применяют методы промпт-инжиниринга для обхода ограничений системы, таких как отсутствие контроля над многословностью, неточность оценки расстояний и недоступность визуальной информации. Какие новые подходы к проектированию интерфейсов и адаптации моделей необходимы для создания действительно персонализированных и эффективных инструментов помощи незрячим пользователям?

Визуальный мир без ограничений: вызовы для незрячих пользователей

Незрячие и слабовидящие люди сталкиваются с серьезными препятствиями в получении доступа к визуальной информации, что существенно ограничивает их самостоятельность и участие в общественной жизни. Отсутствие возможности воспринимать окружающий мир посредством зрения затрудняет выполнение повседневных задач, начиная от ориентирования в пространстве и распознавания лиц, и заканчивая получением информации из печатных материалов или пониманием визуальных подсказок. Это приводит к зависимости от посторонней помощи, снижению мобильности и, как следствие, к социальной изоляции. Преодоление этих барьеров требует разработки инновационных технологий и адаптации существующих решений, направленных на обеспечение равных возможностей для всех членов общества.

Существующие вспомогательные технологии для незрячих пользователей зачастую оказываются недостаточными при интерпретации сложных визуальных сцен. Они нередко ограничиваются простым распознаванием отдельных объектов, упуская из виду взаимосвязи между ними, контекст и общую композицию изображения. Например, система может идентифицировать «человека» и «автомобиль», но не способна определить, находится ли человек в опасности, переходит ли дорогу в неположенном месте или является ли автомобиль угрозой. Такое упрощенное представление лишает пользователя важной информации, необходимой для принятия обоснованных решений и полноценной ориентации в окружающем мире, снижая уровень самостоятельности и требуя постоянной помощи со стороны.

Эффективная визуальная помощь для незрячих пользователей требует систем, которые выходят за рамки простого распознавания объектов. Современные разработки стремятся обеспечить не только идентификацию предметов в поле зрения, но и поддержку детального исследования окружающей среды. Это предполагает возможность задавать вопросы о сцене — например, «Какие предметы находятся слева от стола?» или «Опишите выражение лица человека на фотографии» — и получать содержательные ответы, выходящие за рамки простого перечисления обнаруженных объектов. Такой подход позволяет пользователю активно взаимодействовать с визуальной информацией, формируя полное и контекстуально-обоснованное представление о происходящем, что значительно расширяет возможности для самостоятельной ориентации и участия в различных сферах жизни. Разработка подобных систем требует интеграции передовых алгоритмов компьютерного зрения, обработки естественного языка и искусственного интеллекта, способных обеспечить не только что видно, но и как это интерпретировать.

Анализ взаимодействия показывает, что степень кастомизации действий пропорционально выше в знакомой обстановке и с привычными предметами, несколько больше в присутствии других людей, примерно одинакова в помещении и на улице, и снижается в спешке.

Разговорный VQA: новый взгляд на визуальную помощь

Конверсационные системы визуального вопросно-ответного взаимодействия (VQA), такие как ‘Be My AI’, представляют собой перспективный подход к обеспечению доступа к визуальной информации для пользователей, испытывающих затруднения с ее интерпретацией. В отличие от традиционных VQA систем, которые отвечают на один вопрос об изображении, конверсационные системы поддерживают многооборотный диалог, позволяя пользователю уточнять запросы и получать более детальные ответы на основе контекста предыдущих вопросов и ответов. Это особенно важно для сложных изображений или ситуаций, когда первоначальный запрос недостаточно конкретен для получения релевантной информации. Такой подход позволяет эффективно преодолеть ограничения, связанные с необходимостью точного формулирования запроса, и предоставляет более гибкий и интуитивно понятный способ взаимодействия с визуальным контентом.

Системы диалогового визуального вопросно-ответного взаимодействия (VQA) используют многооборотный диалог для последовательного уточнения понимания изображения пользователем. Вместо однократного ответа на вопрос, система поддерживает серию взаимодействий, позволяя пользователю задавать уточняющие вопросы или предоставлять дополнительный контекст. Это позволяет системе постепенно формировать более полное и точное представление о требуемой информации, извлеченной из изображения, и предоставлять более релевантные ответы, основанные на всей истории диалога. Такой подход особенно полезен при анализе сложных изображений или при необходимости получения специфической информации, требующей последовательного уточнения деталей.

Эффективность систем диалогового VQA (Visual Question Answering) напрямую зависит от их способности к интерпретации сложных запросов и предоставлению релевантных, контекстуально-зависимых ответов. Это включает в себя не только понимание семантики отдельных вопросов, но и отслеживание истории диалога для учета предыдущих запросов и ответов. Для достижения этого используются модели обработки естественного языка, способные анализировать лингвистическую структуру запросов, выявлять ключевые объекты и отношения на изображении, и генерировать ответы, соответствующие как визуальному контенту, так и контексту беседы. Способность к разрешению неоднозначности в запросах и пониманию имплицитных связей между вопросами и изображением является критически важной для обеспечения точных и полезных ответов.

Анализ набора данных Ask&Prompt выявил иерархию методов кастомизации, включающую разработанные в лаборатории (сплошная рамка), предложенные участниками (отметка звездочкой) и обнаруженные в стратегиях участников (пунктирная рамка), при этом, в связи с ограничениями Be My AI, для предоставления информации использовалась подача изображений как текста вместо обучения на небольшом количестве примеров.

Персонализация на службе пользователя: методы настройки

Пользователи активно используют различные методы кастомизации для адаптации поведения системы визуальных вопросов и ответов (VQA) под свои потребности и повышения её эффективности. Эти методы включают в себя намеренное формулирование запросов (intention prompting), стилистическую настройку ответов (style prompting), применение логических цепочек рассуждений (chain-of-thought prompting) и декомпозицию сложных вопросов на более простые (decomposition prompting). Наблюдается, что средняя длина пользовательских запросов составляет 20 слов, в то время как средний ответ системы достигает 242 слов, что подчеркивает важность эффективной настройки для получения релевантной и лаконичной информации.

Для обеспечения детального контроля над поведением системы VQA пользователи применяют различные методы промптинга. Intention prompting позволяет задать намерение вопроса, направляя систему на конкретный тип ответа. Style prompting определяет желаемый стиль ответа, например, краткий или подробный. Chain-of-thought prompting стимулирует систему к последовательному рассуждению, что улучшает точность сложных ответов. Decomposition prompting разбивает сложные вопросы на более простые подвопросы, упрощая процесс поиска ответа и повышая его релевантность. Комбинирование этих методов позволяет пользователям адаптировать систему к своим конкретным потребностям и задачам.

Бинарная обратная связь, представляющая собой простой механизм указания пользователем на полезность или бесполезность ответа системы, активно использовалась в приблизительно 67% взаимодействий. Это позволяет системе оперативно адаптироваться и улучшать свою производительность на основе прямого сигнала от пользователя. Данный метод обеспечивает возможность итеративного совершенствования модели, основываясь на фактической оценке релевантности и точности предоставляемой информации.

Анализ взаимодействия пользователей с системой VQA показал, что применяемые методы персонализации оказывают измеримое влияние на эффективность выполнения задач и уровень удовлетворенности. Средняя длина пользовательского запроса составляла 20 слов, что значительно меньше средней длины ответа системы — 242 слова. Данное соотношение указывает на то, что пользователи формулируют задачи лаконично, в то время как система предоставляет развернутые ответы, что может быть обусловлено необходимостью предоставления контекста или детализации в рамках сложных запросов. Наблюдаемая разница в объеме входных и выходных данных подтверждает, что механизмы персонализации позволяют системе более точно интерпретировать краткие запросы и генерировать релевантные ответы.

В ходе лабораторного эксперимента участник P11 использовал стилистическую настройку для управления уровнем детализации описания системы и фокусировки ответа на поиске коробки с закусками.

Реальное влияние: к действительно персонализированной помощи

Наблюдения за использованием системы в реальных жизненных ситуациях выявили тонкие и разнообразные способы, которыми пользователи адаптируют параметры настройки для достижения оптимальных результатов. Исследование показало, что люди не просто используют предложенные инструменты, но и активно экспериментируют с различными подходами, подстраивая свои запросы в зависимости от полученных ответов. Такая адаптация выходит за рамки простой настройки; пользователи демонстрируют умение стратегически использовать систему, извлекая максимальную пользу из её возможностей и, таким образом, формируя индивидуальный опыт взаимодействия. Полученные данные указывают на то, что эффективность персональной помощи напрямую зависит от способности пользователя тонко настраивать систему под свои конкретные потребности и предпочтения.

Исследования показали, что пользователи не просто пассивно получают ответы от системы, но и активно адаптируют свои запросы, основываясь на предыдущих ответах. Этот процесс демонстрирует не только вовлеченность в диалог, но и способность к обучению в реальном времени. Пользователи корректируют формулировки, добавляют уточнения или изменяют структуру запросов, чтобы получить более релевантную и полезную информацию. Такая стратегия позволяет им эффективно использовать возможности системы, а также сигнализирует о том, что персонализированная помощь воспринимается как интерактивный инструмент, требующий активного участия и постоянной адаптации со стороны пользователя.

Крайне важным фактором для повышения эффективности системы помощи и поддержания доверия со стороны пользователя является способность последнего самостоятельно обнаруживать и корректировать ошибки в ответах. Исследования показали, что активное выявление неточностей и предоставление обратной связи позволяет системе адаптироваться и улучшать качество предоставляемой информации. Пользователи, способные критически оценивать ответы и указывать на несоответствия, демонстрируют более глубокое вовлечение в процесс взаимодействия и, как следствие, получают более релевантную и полезную помощь. Такой подход не только оптимизирует работу системы, но и способствует формированию у пользователя уверенности в её надёжности и точности.

Исследование продемонстрировало, что возможность персонализированной помощи существенно расширяет возможности незрячих пользователей в ориентировании и навигации в окружающем пространстве. В ходе эксперимента, с участием 11 испытуемых, средняя продолжительность диалога с системой составила 33 хода, при этом некоторые взаимодействия растягивались до впечатляющих 2121 хода. Важно отметить, что в большинстве случаев ведения дневниковых записей с использованием системы, наблюдалась стратегия “декомпозиции запросов” — разбиение сложных задач на более простые шаги, что подчеркивает её эффективность и значимость для повышения точности и полезности предоставляемой информации. Это свидетельствует о том, что персонализация не просто облегчает выполнение повседневных задач, но и способствует большей самостоятельности и уверенности в своих силах у незрячих пользователей.

Исследование показывает, что даже самые передовые системы, вроде Be My AI, требуют адаптации под конкретного пользователя. Недостаточно просто создать «умную» систему — необходимо дать возможность слепому пользователю настроить её под свои нужды и предпочтения. Клод Шеннон однажды сказал: «Теория коммуникации — это не столько передача информации, сколько преодоление помех». В контексте этой работы, «помехами» выступают не только технические ограничения, но и несоответствие между возможностями системы и потребностями конкретного человека. Персонализация становится ключом к эффективному взаимодействию, ведь универсального решения, подходящего всем, просто не существует. В конечном итоге, это подтверждает простую истину: MVP — это лишь способ сказать пользователю: подожди, мы потом исправим.

Куда же мы катимся?

Исследование взаимодействия слепых пользователей с системами визуального вопросно-ответного диалога, безусловно, выявило потребность в адаптации. Однако, как показывает практика, любая «персонализация» быстро превращается в экспоненциально растущий набор краевых случаев, требующих постоянной подстройки. Вполне вероятно, что «удобство» для одного пользователя обернётся неразберихой для другого, а «адаптивность» — бесконечным циклом итераций. Оптимисты полагают, что генеративные модели спасут мир. Опыт подсказывает: каждый новый уровень абстракции — это ещё один слой, который неизбежно начнет давать сбой.

Попытки «научить» систему понимать контекст и предпочтения пользователя — благородное дело, но стоит помнить, что даже самый изящный алгоритм рано или поздно столкнется с реальностью. Реальностью, где пользователь задаёт вопрос, который система просто не способна обработать, потому что «почему бы и нет?» — это вопрос, который алгоритм предвидеть не мог. В погоне за «интеллектом» часто забывают о простоте. Иногда лучше монолит, чем сто микросервисов, каждый из которых врёт.

Поэтому, вместо того чтобы строить воздушные замки из генеративных моделей, возможно, стоит сосредоточиться на создании надёжных, предсказуемых систем, которые просто выполняют свою работу. Иногда достаточно дать пользователю возможность настроить базовые параметры, вместо того чтобы пытаться угадать его желания. В конце концов, идеальный помощник — это не тот, который знает всё, а тот, который не мешает.

Оригинал статьи: https://arxiv.org/pdf/2602.16930.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-20 11:33