Осязание и зрение: новая система для понимания мира предметами

Автор: Денис Аветисян

Исследователи разработали систему, которая помогает незрячим и слабовидящим людям лучше понимать окружающие предметы через тактильное взаимодействие и автоматические словесные описания.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Исследование демонстрирует, как тактильное взаимодействие с объектами дополняется мгновенными визуальными описаниями: пользователи получают иерархическую информацию, начиная с положения руки, краткого обзора и детализированных характеристик, могут запрашивать данные голосом, а жесты - например, указание или смахивание - позволяют получить доступ к конкретным свойствам объекта или сравнить два предмета одновременно, раскрывая потенциал для интуитивного взаимодействия человека с окружением. — Исследование демонстрирует, как тактильное взаимодействие с объектами дополняется мгновенными визуальными описаниями: пользователи получают иерархическую информацию, начиная с положения руки, краткого обзора и детализированных характеристик, могут запрашивать данные голосом, а жесты — например, указание или смахивание — позволяют получить доступ к конкретным свойствам объекта или сравнить два предмета одновременно, раскрывая потенциал для интуитивного взаимодействия человека с окружением.

TouchScribe — система, использующая анализ взаимодействия рук с объектами для генерации живых визуальных описаний для людей с нарушениями зрения.

Несмотря на развитые навыки тактильного исследования, люди с нарушениями зрения часто лишены доступа к богатой визуальной информации об объектах. В данной работе представлена система ‘TouchScribe: Augmenting Non-Visual Hand-Object Interactions with Automated Live Visual Descriptions’, которая расширяет возможности взаимодействия рук с объектами посредством автоматизированных живых визуальных описаний. Система распознает как стандартные жесты, так и уникальные способы исследования объектов, характерные для людей с нарушениями зрения, предоставляя адаптивные описания, включающие информацию об их состоянии, названия и визуальные детали. Может ли подобный подход, учитывающий физический контакт с объектами, существенно улучшить понимание окружающего мира для людей с нарушениями зрения и открыть новые горизонты в разработке вспомогательных технологий?

Разрушая Барьеры: Визуальный Доступ для Незрячих

Люди с нарушениями зрения или его полной потерей сталкиваются с серьезными трудностями в получении доступа к визуальной информации, что существенно ограничивает их возможности в повседневной жизни и снижает степень независимости. Обычные задачи, такие как чтение меню, распознавание лиц или ориентация в пространстве, становятся сложными и требуют значительных усилий или помощи со стороны других людей. Отсутствие доступа к визуальной информации не только затрудняет выполнение практических действий, но и может приводить к социальной изоляции и снижению качества жизни, лишая возможности полноценного участия в общественной жизни и самореализации. Потеря визуального восприятия влияет на широкий спектр аспектов — от профессиональной деятельности до личных увлечений, подчеркивая необходимость разработки инновационных решений, способных компенсировать эту потерю и обеспечить равные возможности для всех.

Существующие вспомогательные технологии для людей с нарушениями зрения зачастую опираются на ручное описание окружающей обстановки или ограниченное распознавание объектов, что создает значительные трудности в повседневной жизни. Такой подход требует от пользователя пассивного ожидания информации, а предоставленные описания могут быть неполными или не соответствовать текущим потребностям. Ограниченные возможности распознавания объектов не позволяют пользователю самостоятельно исследовать визуальный мир, что лишает его спонтанности и независимости. В результате, подобные технологии, несмотря на свою полезность, оказываются громоздкими и недостаточными для обеспечения полноценного доступа к визуальной информации и полноценной интеграции в общество.

Необходим принципиально новый подход к предоставлению визуальной информации для людей с нарушениями зрения, отходящий от статичных описаний и ограниченного распознавания объектов. Этот подход должен обеспечивать интерактивное исследование визуального пространства в реальном времени, используя естественные способы взаимодействия — например, жесты, голосовые команды или движения головы. Вместо пассивного получения информации, пользователь сможет активно исследовать сцену, задавая вопросы и получая ответы, ориентируясь в пространстве и получая детализированные сведения о конкретных объектах по запросу. Такая система позволит не просто «видеть» окружающий мир, но и понимать его, расширяя возможности самостоятельной навигации и значительно повышая качество жизни.

Различные сценарии различались по визуальной сложности (низкая и высокая, обозначены фиолетовым) и специфичности информации (конкретная или общая, обозначены синим цветом).

TouchScribe: Интерактивное Визуальное Исследование

Система TouchScribe предназначена для предоставления интерактивных, озвученных описаний визуальной информации, основанных на взаимодействии рук пользователя с объектами. В отличие от традиционных методов пассивного восприятия, TouchScribe позволяет пользователю активно исследовать и запрашивать информацию о визуальном окружении посредством естественных жестов рук. Это достигается за счет анализа движений и положения рук в реальном времени, что обеспечивает более интуитивное и вовлекающее взаимодействие с визуальными данными. Система ориентирована на создание более доступного и эффективного способа восприятия информации для пользователей с различными потребностями и уровнями опыта.

В основе системы TouchScribe лежит распознавание жестов рук — удержание, касание, указание и смахивание — реализованное с использованием библиотеки Google MediaPipe и соответствующего детектирования ключевых точек руки. Точность распознавания по F1-мере составляет 0.77. Это достигается за счет анализа координат 21 ключевой точки на руке, предоставляемых MediaPipe, что позволяет системе надежно интерпретировать намерения пользователя и взаимодействовать с визуальным контентом.

В системе TouchScribe жесты рук — удержание, касание, указание и смахивание — используются в качестве входных данных, позволяя пользователю активно взаимодействовать с визуальной информацией. В отличие от пассивного получения данных, такой подход обеспечивает возможность целенаправленного исследования и запроса конкретных элементов визуального контента. Это достигается за счет интерпретации движений руки как команд, инициирующих определенные действия в системе, что повышает вовлеченность и эффективность взаимодействия с визуальными данными.

Система TouchScribe анализирует видеопоток с помощью Google MediaPipe для распознавания жестов, определяет контакт с объектами через Hands23 и использует параллельно работающие VLMs, такие как Moondream и GPT-4o, для генерации описаний, а также реализует функции чтения цвета и текста посредством отслеживания жестов и сравнения изображений для идентификации перевернутых объектов.

Детализированные Описания и Адаптивная Обратная Связь

TouchScribe использует технологию выделения объектов путём кадрирования изображения, полученного с камеры, для последующего анализа. Выделенные объекты передаются в мощные мультимодальные модели, такие как Moondream и GPT-4o, которые генерируют детальные описания. Этот подход позволяет системе фокусироваться на конкретных элементах изображения и предоставлять более точную и релевантную информацию, чем при анализе всего кадра целиком. Комбинация кадрирования и современных Vision-Language Models (VLMs) является ключевым фактором в обеспечении качественных описаний.

Система TouchScribe реализует адаптивную обратную связь, динамически изменяя уровень детализации генерируемых описаний в зависимости от взаимодействия с пользователем. В случае необходимости быстрого ознакомления система предоставляет краткое резюме, содержащее основные характеристики объекта. При запросе более глубокого анализа, TouchScribe формирует исчерпывающее описание, включающее детализированные сведения об объекте и его атрибутах. Такой подход позволяет пользователю контролировать объем получаемой информации и адаптировать её к конкретным потребностям и задачам.

Результаты пользовательских исследований показали, что точность генерируемых описаний варьируется от 67.83% до 93.27%. Средние оценки пользователей по шкале от 1 до 7 составили 5.63 балла за интуитивность, 5.5 за точность, 6.5 за полноту и 5.13 за уровень контроля над процессом генерации описаний. Эти данные свидетельствуют о высокой степени удовлетворенности пользователей системой и её способности предоставлять релевантную и полезную информацию.

TouchScribe поддерживает широкий спектр жестов, временных интервалов для извлечения ключевых кадров и типов описаний, обеспечивая гибкость в процессе аннотации.

Реальное Время и Расширенная Функциональность

Для обеспечения бесперебойной работы и мгновенного отклика, система TouchScribe использует метод извлечения ключевых кадров. Этот подход позволяет значительно снизить вычислительную нагрузку, поскольку обрабатываются только наиболее значимые моменты визуальной информации, а не каждый отдельный кадр. Вместо непрерывного анализа всего видеопотока, система фокусируется на ключевых кадрах, которые содержат существенные изменения в сцене или взаимодействии рук с объектами. Это не только повышает скорость обработки, но и позволяет поддерживать плавное и оперативное предоставление визуальных описаний в режиме реального времени, делая взаимодействие с системой более интуитивным и эффективным.

Модель Hands23 играет ключевую роль в обеспечении точного определения контакта рук с объектами, что является основой для выделения и детального описания этих объектов. Благодаря способности Hands23 надежно идентифицировать взаимодействие рук и предметов, система способна не только определить присутствие объекта, но и с высокой точностью отделить его от фона, обеспечивая возможность генерации содержательных и релевантных описаний. Этот механизм позволяет системе эффективно анализировать сцены, в которых руки взаимодействуют с различными предметами, и предоставлять пользователю подробную информацию об этих взаимодействиях, значительно расширяя функциональность и возможности применения системы в различных областях, от помощи слабовидящим до автоматизированного анализа видеоконтента.

Система TouchScribe оснащена функцией голосового взаимодействия, позволяющей пользователям задавать произвольные вопросы о происходящем на экране. Это достигается за счет интеграции механизма ответа на вопросы (VQA), который анализирует визуальную информацию и предоставляет релевантные ответы на естественном языке. Пользователь может, например, спросить: «Что находится слева от кружки?» или «Какого цвета шарф?», и система, обрабатывая изображение в реальном времени, предоставит точный и понятный ответ. Такая возможность значительно расширяет функциональность системы, делая ее не просто инструментом визуального описания, но и интерактивным помощником для людей с нарушениями зрения или в ситуациях, требующих оперативного получения информации об окружающей обстановке.

Исследование представляет систему TouchScribe, стремящуюся расширить возможности взаимодействия с окружающим миром для людей с нарушениями зрения. Подход, основанный на анализе взаимодействия руки и объекта, позволяет генерировать детальные визуальные описания в реальном времени. Это созвучно высказыванию Брайана Кернигана: «Простота — это высшая степень утончённости». TouchScribe, по сути, упрощает восприятие окружающей среды, преобразуя сложные визуальные данные в понятные словесные описания. Система демонстрирует, что понимание принципов работы (в данном случае, взаимодействия руки и объекта) открывает путь к созданию эффективных инструментов, способных изменить реальность для людей, нуждающихся в поддержке. Она как бы проверяет границы возможного, взламывая привычные способы восприятия мира.

Куда же дальше?

Представленная работа, безусловно, открывает новые горизонты в области ассистивных технологий, однако, подобно любому тщательно сконструированному механизму, TouchScribe демонстрирует и свои пределы. Идентификация объектов — лишь первый шаг. Настоящая сложность заключается в понимании контекста. Система пока описывает «что», но не «зачем» и «как». Следующим этапом, вероятно, станет интеграция с моделями, способными предсказывать намерения, анализировать последовательность действий и формировать не просто визуальное описание, а полноценное повествование о происходящем.

Не менее важным представляется вопрос о масштабируемости. Текущая реализация, вероятно, требует значительных вычислительных ресурсов. Уменьшение задержки и повышение энергоэффективности — критически важные задачи, особенно для портативных устройств. В конце концов, свобода познания не должна быть привязана к розетке. Попытки «взломать» существующие алгоритмы распознавания образов, оптимизировать их под специфические задачи взаимодействия с объектами, могут принести неожиданные результаты.

И, наконец, стоит задуматься о более фундаментальном вопросе. Предоставляя «замену» зрению, мы рискуем создать своего рода «цифровой костыль», ограничивающий возможности самостоятельного исследования мира. Возможно, истинный прогресс заключается не в имитации потерянной функции, а в развитии новых, альтернативных способов восприятия, использующих сильные стороны других органов чувств. В этом смысле TouchScribe — это лишь отправная точка, приглашение к более радикальному переосмыслению границ человеческого восприятия.

Оригинал статьи: https://arxiv.org/pdf/2602.07802.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-10 09:13