Виртуальная клавиатура: Ввод текста в дополненной реальности становится удобнее

Автор: Денис Аветисян

Новый метод позволяет набирать текст в AR, используя привычные навыки двухпальцевого набора, как на смартфоне.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Разработанный метод STAR позволяет перенести навыки двухпальцевого набора текста, приобретенные на физических смартфонах, в среду дополненной реальности, осуществляя ввод текста непосредственно в воздухе без использования каких-либо устройств.

Исследование представляет STAR — систему ввода текста в дополненной реальности, достигающую 56% скорости набора на смартфоне и демонстрирующую потенциал для дальнейшего улучшения с развитием технологий отслеживания рук.

Несмотря на растущую популярность приложений дополненной реальности (AR), ввод текста остается сложной задачей, требующей новых, эффективных решений. В данной работе представлена система STAR: Smartphone-analogous Typing in Augmented Reality, использующая знакомый пользователям принцип двухпальцевого набора текста, как на смартфоне, но с виртуальной клавиатурой, проецируемой на кожу рук. В ходе пользовательского тестирования, STAR позволила достичь скорости набора 21.9 слов в минуту (56% от скорости набора на смартфоне) с ошибками всего в 0.3% после получаса практики. Какие перспективы открывает дальнейшее развитие технологий отслеживания рук для повышения эффективности и удобства ввода текста в дополненной реальности?

За пределами сенсорных экранов: Ограничения AR-ввода

Существующие методы ввода текста в дополненной реальности, такие как прямое манипулирование виртуальными объектами или использование голосового управления, зачастую оказываются неудобными и неточными в мобильных условиях. Проблемы возникают из-за необходимости точного позиционирования в пространстве и сложности адаптации к динамично меняющейся среде. Прямое взаимодействие требует значительных усилий для поддержания стабильности и аккуратности, особенно при длительном использовании. Голосовой ввод, в свою очередь, ограничен шумами окружающей среды и необходимостью четкой дикции, что делает его ненадежным в условиях активного движения или в общественных местах. В результате, скорость и эффективность ввода текста в AR существенно снижаются, что препятствует полноценному использованию приложений, требующих активного текстового взаимодействия.

Несмотря на привычность набора текста на сенсорных экранах смартфонов, прямое перенесение этого метода в дополненную реальность не позволяет в полной мере использовать преимущества этой новой среды. В то время как смартфоны предоставляют физическую поверхность для взаимодействия, в AR взаимодействие происходит в воздухе, что требует от пользователя поддержания руки в определенном положении и снижает точность ввода. Попытки эмулировать клавиатуру на виртуальных поверхностях часто приводят к утомлению и неточностям, поскольку отсутствует тактильная обратная связь и стабильная опора для пальцев. Таким образом, простое копирование существующих методов ввода не позволяет раскрыть потенциал AR как интуитивно понятного и эффективного способа взаимодействия с цифровым контентом.

Становится очевидным, что для полноценного взаимодействия с дополненной реальностью необходим способ ввода информации, который был бы не только эффективным, но и опирался на уже сформированные двигательные навыки человека. Существующие методы, такие как манипуляции с виртуальными объектами или голосовой ввод, зачастую оказываются неудобными и неточными в мобильных сценариях. Вместо того, чтобы просто переносить привычные способы ввода с сенсорных экранов, требуется разработка принципиально нового подхода, который бы максимально использовал возможности AR и позволял пользователям интуитивно и быстро вводить текст и команды, опираясь на уже отработанные движения и рефлексы. Решение этой задачи откроет путь к более естественному и продуктивному взаимодействию с цифровым миром, наложенным на реальность.

Исследование выявило, что пользователи предпочитают имитировать ввод текста на смартфоне, используя либо одну ладонь и палец другой руки, либо обе сложенные руки с нажатиями большими пальцами (наиболее распространенный способ), либо симметричный контакт рук с нажатиями большими пальцами.

Представляем STAR: Используя привычность для AR-ввода

Метод STAR предлагает систему ввода без использования каких-либо дополнительных устройств (bare-hand input) для приложений дополненной реальности, основанную на широко известном и интуитивно понятном способе набора текста — двухпальцевом вводе (two-thumb typing). Этот подход использует привычные пользователям движения больших пальцев, аналогичные тем, что применяются при использовании сенсорных клавиатур на мобильных устройствах, что позволяет снизить порог вхождения и повысить эффективность ввода в AR-среде. Использование устоявшейся техники ввода позволяет избежать необходимости изучения новых жестов или схем управления.

В отличие от систем, требующих физических контроллеров, STAR использует отслеживание движений рук для создания виртуальной QWERTY-клавиатуры в дополненной реальности. Эта клавиатура отображается в поле зрения пользователя, позволяя вводить текст непосредственно взаимодействием рук с виртуальными клавишами. Система не требует дополнительного оборудования, что упрощает использование и повышает портативность. Пользователь взаимодействует с виртуальной клавиатурой, как с обычной, осуществляя касания и переходы между клавишами посредством отслеживаемых движений рук.

Система STAR реализует отзывчивую и интуитивно понятную поверхность ввода посредством отслеживания движений рук и использования принципов емкостного сенсора. Отслеживание рук позволяет системе идентифицировать положение и движения пальцев в пространстве, а емкостные сенсоры, интегрированные в систему, определяют касания и жесты. Такой подход позволяет отказаться от необходимости использования каких-либо дополнительных аппаратных средств, таких как контроллеры или стилусы, и предоставляет пользователю возможность взаимодействия с дополненной реальностью непосредственно руками, обеспечивая более естественный и удобный способ ввода данных.

Система STAR позволяет пользователю вводить текст с помощью двух больших пальцев, активируя режим жестом, а затем отключая его тем же жестом, при этом визуализация дуг проекции и суставов пальцев обеспечивает удобство использования.

STAR в действии: Детали дизайна и реализации

Система STAR использует виртуальную клавиатуру с фиксированным положением, реализуя принцип Стационарного позиционирования клавиатуры. Данный подход предполагает, что клавиатура не перемещается вместе с движениями рук пользователя, что позволяет снизить когнитивную нагрузку и повысить точность ввода. В отличие от традиционных виртуальных клавиатур, привязанных к положению рук, клавиатура STAR остается неподвижной в пространстве, что обеспечивает более предсказуемое и стабильное взаимодействие и, как следствие, уменьшает количество ошибок при наборе текста. Это достигается за счет использования данных отслеживания движения рук и удержания виртуальной клавиатуры в постоянной позиции относительно пользователя.

В системе STAR основным элементом взаимодействия является поверхность, активируемая указательным пальцем, что имитирует привычную схему ввода текста, используемую на смартфонах. Данный подход позволяет пользователю использовать уже сформированные моторные навыки и обеспечивает интуитивно понятный интерфейс. Активация поверхности происходит при касании указательным пальцем, регистрируемым системой отслеживания HoloLens 2, и позволяет осуществлять ввод символов, навигацию по меню и выполнение других команд. Использование только указательного пальца упрощает взаимодействие и снижает когнитивную нагрузку на пользователя, повышая скорость и точность ввода.

Реализация системы STAR была осуществлена с использованием гарнитуры смешанной реальности HoloLens 2, которая обеспечила как визуализацию интерфейса, так и точное отслеживание движений рук пользователя. HoloLens 2, благодаря встроенным камерам и сенсорам, позволила создать полностью иммерсивный и интерактивный опыт, необходимый для эффективного взаимодействия с виртуальной клавиатурой и обеспечения высокой точности ввода. Использование HoloLens 2 позволило интегрировать систему отслеживания непосредственно в устройство отображения, упростив калибровку и повысив стабильность работы.

В ходе исследования использовались две среды тестирования: ввод текста в AR-гарнитуре HoloLens 2 с использованием емкостных датчиков на пальцах (a) и ввод текста на физическом смартфоне (b), при этом для измерения касаний использовалась схема на базе Arduino с емкостными датчиками (c).

Результаты и перспективы: Новая эра для AR-ввода?

Первичные оценки продемонстрировали эффективность системы STAR в задачах ввода текста, достигнув скорости набора в 21.9 слов в минуту. Этот показатель составляет 56% от скорости, которую те же участники демонстрируют при наборе текста на физической клавиатуре смартфона. Полученные данные указывают на значительный потенциал для развития альтернативных методов ввода, особенно в контексте дополненной реальности, где традиционные интерфейсы могут быть неудобны или невозможны. Несмотря на то, что скорость набора пока не достигает уровня физической клавиатуры, достигнутый прогресс является важным шагом к созданию эффективных и интуитивно понятных способов взаимодействия с цифровым контентом в AR-среде.

Исследования показали, что точность ввода текста с использованием новой системы сравнима с традиционным набором на смартфонах. Показатель необработанной ошибки (UER) составил всего 0.2%, что является весьма конкурентоспособным результатом, учитывая, что при наборе текста на физической клавиатуре смартфона этот показатель обычно достигает 0.5%. Такое близкое соответствие указывает на потенциал новой системы в качестве надежной и удобной альтернативы для ввода текста в дополненной реальности, несмотря на принципиально иной способ взаимодействия.

Исследования показали, что средний интервал между нажатиями клавиш в системе STAR составил 585 миллисекунд, а продолжительность нажатия — 139 миллисекунд. Эти показатели демонстрируют небольшие отличия от привычных паттернов ввода текста на смартфонах. Хотя разница и незначительна, она указывает на адаптацию пользователя к новому методу взаимодействия, требующему определенной перестройки мышечной памяти и координации движений. Анализ этих временных характеристик позволяет лучше понять особенности использования системы и может быть использован для дальнейшей оптимизации интерфейса и повышения эффективности ввода текста в дополненной реальности.

В процессе проектирования STAR исследовались три параметра: использование поверхностей для двухручного ввода, различные варианты позиционирования и размеры клавиатуры, в результате чего были выбраны поверхности для ввода, следящее позиционирование и исходный размер.

Исследование, представленное в данной работе, демонстрирует интересную адаптацию привычных моделей взаимодействия — двухпальцевого набора текста со смартфонов — к среде дополненной реальности. Это не просто попытка воссоздать существующий опыт, но и поиск путей его эволюции, учитывая ограничения и возможности новой платформы. Как однажды заметил Пол Эрдёш: «Математика — это искусство открывать закономерности, а не просто решать задачи». Аналогично, STAR не стремится просто к скорости ввода, но и к пониманию того, как человек взаимодействует с цифровым миром посредством жестов, и как эти взаимодействия могут быть оптимизированы. Система, подобно опытному исследователю, учится адаптироваться к среде и использовать ее потенциал, а не бороться с ее ограничениями. Даже текущая скорость ввода, достигающая 56% от скорости на смартфоне, говорит о зрелости подхода и перспективах его дальнейшего развития, ведь главное — не скорость, а гармония взаимодействия.

Куда Ведет Этот Путь?

Представленная работа, демонстрируя достижение 56% скорости набора текста со смартфона в условиях дополненной реальности, неизбежно сталкивается с фундаментальным вопросом: насколько долго продлится иллюзия улучшения? Любое нововведение, даже столь основанное на знакомых паттернах двухпальцевого набора, подвержено старению. Скорость, показанная сейчас, — это лишь мгновение в потоке времени, а совершенствование отслеживания рук, столь оптимистично прогнозируемое, — это лишь отсрочка неизбежного. Прогресс — это не движение к абсолютному идеалу, а лишь замедление деградации.

Более того, фокусировка исключительно на скорости набора текста игнорирует более широкую проблему: взаимодействие человека и машины в дополненной реальности. Совершенствуя лишь один аспект, рискуем создать систему, удобную лишь в узком контексте. Необходимо учитывать когнитивную нагрузку, эргономику и, самое главное, естественность взаимодействия. Ведь даже самый быстрый метод ввода текста бессмыслен, если он вызывает усталость или отчуждение.

В конечном итоге, судьба STAR, как и любой системы, будет определяться не ее начальными характеристиками, а способностью адаптироваться к меняющимся условиям. Улучшения неизбежно устаревают, а откат назад по стреле времени — это не поражение, а закономерный этап эволюции. Настоящий вызов заключается не в достижении совершенства, а в достойно принятии неизбежной энтропии.

Оригинал статьи: https://arxiv.org/pdf/2511.21143.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-29 07:02