Ожившие аватары: реалистичная 3D-анимация лица в реальном времени

от

Автор: Денис Аветисян

Новый метод позволяет создавать детализированные и выразительные 3D-модели лица, анимированные в реальном времени, на основе всего лишь одной фотографии.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
В предложенном подходе трёхмерные гауссовские объекты трансформируются независимо между точками, поскольку вектор их базисного движения содержит всю необходимую информацию, в отличие от существующих методов, основанных на трипланах, которым для обновления геометрии каждой точки сетки требуется агрегировать глобальный контекст и использовать механизмы внимания для определения траектории движения, например, при открытии рта.
В предложенном подходе трёхмерные гауссовские объекты трансформируются независимо между точками, поскольку вектор их базисного движения содержит всю необходимую информацию, в отличие от существующих методов, основанных на трипланах, которым для обновления геометрии каждой точки сетки требуется агрегировать глобальный контекст и использовать механизмы внимания для определения траектории движения, например, при открытии рта.

Исследователи используют дистилляцию знаний из диффузионных моделей в 3D-представление на основе Гауссовых сплайнов для достижения высокой скорости и 3D-согласованности анимации.

Несмотря на значительный прогресс в области анимации портретов, современные методы часто сталкиваются с компромиссом между скоростью обработки, 3D-консистентностью и детализацией выражений. В данной работе, посвященной ‘Instant Expressive Gaussian Head Avatar via 3D-Aware Expression Distillation’, предложен новый подход к созданию реалистичных 3D-аватаров, основанный на дистилляции знаний из 2D диффузионных моделей в 3D представление на основе Gaussian splatting. Это позволяет получить быстрое, 3D-консистентное и выразительное анимированное представление лица из единственного изображения, избегая зависимости от параметрических моделей. Возможно ли дальнейшее повышение скорости и реалистичности анимации за счет оптимизации локальных стратегий слияния информации о структуре и движении?

Вызов: Реалистичные Цифровые Люди

Создание убедительных цифровых людей для приложений дополненной и виртуальной реальности представляет собой сложную задачу, требующую высочайшей детализации и реалистичности движений. Существующие методы сталкиваются с серьезными ограничениями в воспроизведении тончайших нюансов человеческой мимики и поведения. Достижение правдоподобности требует не только высокой точности моделирования внешнего вида, но и динамической симуляции мышц, кожи и костей, что предъявляет огромные требования к вычислительным ресурсам и алгоритмической сложности. Неспособность достоверно передать человеческие эмоции и движения может значительно снизить эффект погружения и разрушить иллюзию присутствия в виртуальном пространстве, делая цифрового персонажа неестественным и отталкивающим для пользователя.

Традиционные методы создания цифровых лиц, такие как 3D-морфные модели (3DMM) и параметрические модели, сталкиваются с серьезными ограничениями при воспроизведении тонкостей и сложности человеческой мимики. Эти подходы, основанные на статистическом анализе и усреднении выражений лиц, зачастую не способны достоверно передать индивидуальные особенности, микро-движения и тончайшие нюансы, характеризующие живое лицо. В результате, цифровые лица, созданные с их помощью, могут выглядеть неестественно, скованно или лишены эмоциональной выразительности, что существенно снижает эффект присутствия в приложениях виртуальной и дополненной реальности. Особенно сложно воссоздать асимметрию, уникальные морщины и другие детали, которые делают каждое человеческое лицо неповторимым, что требует разработки более совершенных методов моделирования и рендеринга.

Современные генеративные модели, такие как генеративно-состязательные сети (GAN) и диффузионные модели, сталкиваются с трудностями при создании реалистичных цифровых людей. Несмотря на впечатляющие результаты в других областях, в контексте человеческого лица часто наблюдается компромисс между качеством изображения, стабильностью генерируемых выражений и вычислительными затратами. Высокое разрешение и детализация, необходимые для правдоподобного отображения, требуют значительных ресурсов, что затрудняет их применение в реальном времени, особенно в приложениях дополненной и виртуальной реальности. Кроме того, обеспечение согласованности генерируемых выражений лица, избежание артефактов и поддержание реалистичной динамики мимики остаются сложными задачами, требующими дальнейших исследований и оптимизации алгоритмов.

В ходе кросс-реанимации предложенный метод демонстрирует значительно более высокую скорость работы (на 3-4 порядка быстрее, чем у моделей на основе диффузии), при этом обеспечивая превосходную 3D-согласованность и точность передачи выражений лица по сравнению с другими 2D- и 3D- подходами.
В ходе кросс-реанимации предложенный метод демонстрирует значительно более высокую скорость работы (на 3-4 порядка быстрее, чем у моделей на основе диффузии), при этом обеспечивая превосходную 3D-согласованность и точность передачи выражений лица по сравнению с другими 2D- и 3D- подходами.

Взгляд за Пределами NeRF: Новое Представление Динамических Лиц

Нейронные поля излучения (NeRF) действительно представили собой значительный прогресс в области 3D-реконструкции и рендеринга, однако их вычислительная сложность является существенным ограничением. Для генерации каждого кадра требуется выполнение большого количества вычислений, связанных с трассировкой лучей и вычислением плотности и цвета в каждой точке пространства. Это приводит к высоким требованиям к вычислительным ресурсам, таким как GPU, и делает невозможным достижение интерактивной частоты кадров (real-time performance) при использовании стандартного оборудования. В частности, время рендеринга изображения напрямую зависит от разрешения, сложности сцены и количества используемых лучей, что делает NeRF непригодными для приложений, требующих мгновенного отклика, таких как видеоигры или интерактивные 3D-приложения.

В отличие от методов на основе Neural Radiance Fields (NeRF), представление динамических лиц с помощью 3D Гауссиан основано на моделировании поверхности лица как набора 3D точек. Каждая точка характеризуется адаптивным масштабом и вращением, что позволяет эффективно описывать деформации лица во времени. Вместо вычисления плотности вдоль лучей, как в NeRF, 3D Гауссианы напрямую моделируют геометрию поверхности, что значительно снижает вычислительные затраты и обеспечивает возможность динамической деформации без потери качества изображения. Адаптивность масштаба и вращения позволяет точно отображать сложные изменения в выражении лица и движениях.

Применяемый подход использует возможности дифференцируемой визуализации, что позволяет осуществлять непосредственный контроль над лицевыми признаками. В отличие от традиционных методов, основанных на дискретизации и последующей интерполяции, дифференцируемая визуализация позволяет вычислять градиенты изображения относительно параметров модели, обеспечивая оптимизацию непосредственно в пространстве изображений. Это обеспечивает высокую скорость рендеринга и позволяет достичь компромисса между качеством отображения и вычислительными затратами, что особенно важно для приложений, требующих работы в реальном времени, например, для анимации или видеоконференций. Прямой контроль над лицевыми признаками достигается за счет параметризации формы и текстуры 3D-модели, позволяя точно настраивать выражение лица и другие визуальные характеристики.

Предложенный конвейер обучения выполняет самовоспроизведение, реконструируя исходное изображение с использованием многовидового оценщика и анимации целевого изображения на основе движения, предсказанного декодером на основе остаточных признаков, что позволяет обучать модель реконструкции и анимации.
Предложенный конвейер обучения выполняет самовоспроизведение, реконструируя исходное изображение с использованием многовидового оценщика и анимации целевого изображения на основе движения, предсказанного декодером на основе остаточных признаков, что позволяет обучать модель реконструкции и анимации.

Обучение и Оптимизация Динамического Gaussian Splatting

Эффективное обучение Dynamic Gaussian Splatting требует применения передовых методов генерации синтетических данных, таких как LP3D. LP3D представляет собой 3D-лифтинг-энкодер, который позволяет создавать правдоподобные обучающие данные путем проецирования 2D-изображений в 3D-пространство. Этот процесс включает в себя реконструкцию 3D-структуры сцены на основе 2D-данных, что значительно расширяет объем и разнообразие обучающей выборки. Использование LP3D позволяет обойти ограничения, связанные с недостатком реальных 3D-данных, и повысить обобщающую способность модели, особенно в сценариях, где получение достаточного количества размеченных 3D-данных затруднено или невозможно.

Для повышения точности декодирования движения в Dynamic Gaussian Splatting используется Adaptive Layer-wise Normalization (AdaLN). AdaLN позволяет динамически масштабировать и смещать активации каждого слоя нейронной сети, основываясь на информации о движении, что улучшает способность модели адаптироваться к различным позам и движениям. В дополнение к AdaLN, система использует векторы базиса движения (motion basis vectors) для параметризации деформаций. Эти векторы представляют собой набор основных направлений деформации, которые комбинируются для создания персонализированных деформаций 3D Гауссианов, что позволяет модели более эффективно воспроизводить сложные и индивидуальные движения.

В системе используется DINO-v2 в качестве энкодера движения, что позволяет эффективно извлекать признаки из входных данных о движении. Для повышения устойчивости обучения применяется метод самовоспроизведения (self-reenactment), при котором система обучается реконструировать собственные движения на основе закодированных признаков. Это позволяет уменьшить зависимость от внешних данных и улучшить обобщающую способность модели, особенно в условиях ограниченного объема обучающих данных или при наличии шумов в данных о движении. Использование DINO-v2 и самовоспроизведения совместно обеспечивает более надежное и точное моделирование динамических сцен.

Модель обучается когерентным, семантически значимым и локализованным векторам движения, о чем свидетельствует высокая степень их сходства как внутри одного объекта, так и между разными объектами, что демонстрируется посредством визуализации и вычисления косинусной близости.
Модель обучается когерентным, семантически значимым и локализованным векторам движения, о чем свидетельствует высокая степень их сходства как внутри одного объекта, так и между разными объектами, что демонстрируется посредством визуализации и вычисления косинусной близости.

Валидация и Производительность: Достижение Современных Результатов

Предложенный метод демонстрирует существенный прогресс в скорости рендеринга и качестве изображения, что подтверждается результатами метрик $MEt3R$ и $AED$. Исследования показали значительное увеличение частоты кадров (FPS) по сравнению с существующими подходами, обеспечивая более плавное и реалистичное отображение. Помимо скорости, система достигает превосходных показателей в $MEt3R$, оценивающем 3D-согласованность, и $AED$, измеряющем точность передачи выражений лица. Эти улучшения позволяют создавать высококачественные изображения с высокой скоростью обработки, что особенно важно для интерактивных приложений и систем реального времени.

Количественные и качественные сравнения продемонстрировали превосходство предложенного метода над существующими подходами, основанными на генеративно-состязательных сетях (GAN), такими как LivePortrait, и диффузионными моделями, например, X-NeMo. В ходе экспериментов было установлено, что разработанная система обеспечивает более реалистичное и детализированное воссоздание лиц, превосходя конкурентов в ключевых метриках, отражающих как визуальное качество, так и соответствие исходному изображению. Такое превосходство особенно заметно при обработке сложных сцен и динамичных выражений, что подтверждается как объективными показателями, так и субъективной оценкой экспертов. Достигнутый уровень производительности открывает новые возможности для приложений в области виртуальной реальности, видеоконференций и создания цифрового контента.

Система демонстрирует впечатляющую реалистичность в передаче мимики, сохраняя при этом высокую степень узнаваемости лица даже при сложных и динамичных движениях. Исследования показывают, что разработанный подход способен достоверно воспроизводить тончайшие нюансы выражения эмоций, избегая искажений и артефактов, часто возникающих в существующих системах. Сохранение идентичности субъекта гарантируется за счет использования передовых алгоритмов отслеживания и моделирования лицевой геометрии, что позволяет воссоздавать правдоподобные и естественные выражения лица в реальном времени, даже при выполнении сложных действий или во время активной речи. Такая способность открывает широкие возможности для применения в сферах виртуальной реальности, создания цифровых двойников и разработки интерактивных мультимедийных приложений.

Разработанный метод демонстрирует впечатляющую скорость обработки в 107.31 кадров в секунду, значительно превосходя существующие аналоги. Этот показатель, в сочетании с лучшими в своем классе результатами по метрикам $MEt3R$ и $AED$, подтверждает превосходную 3D-консистентность и точность передачи мимики.

Наш метод обеспечивает более качественный перенос выражения лица и позы по сравнению с другими 2D и 3D-ориентированными подходами, как показано на примере изображений с синей (исходные) и оранжевой (управляющие) рамками, при этом для обеспечения справедливого сравнения некоторые методы были обучены на нашем синтетическом наборе данных.
Наш метод обеспечивает более качественный перенос выражения лица и позы по сравнению с другими 2D и 3D-ориентированными подходами, как показано на примере изображений с синей (исходные) и оранжевой (управляющие) рамками, при этом для обеспечения справедливого сравнения некоторые методы были обучены на нашем синтетическом наборе данных.

Будущие Направления: К Высококачественным Цифровым Людям в Реальном Времени

Дальнейшие исследования направлены на повышение устойчивости и обобщающей способности системы, особенно в сложных условиях освещения. Существующие методы часто демонстрируют снижение качества при неидеальном освещении — резких тенях, бликах или недостаточной яркости. Ученые работают над алгоритмами, способными адаптироваться к различным сценариям освещения, обеспечивая реалистичное отображение цифровых людей даже в сложных условиях. Это включает в себя разработку новых моделей рендеринга, учитывающих физические свойства света и поверхности, а также применение методов обучения с подкреплением, позволяющих системе учиться на примерах сложных световых условий. Успешная реализация этих направлений позволит создавать цифровых людей, которые выглядят правдоподобно в любой обстановке, значительно расширяя возможности их применения в виртуальной и дополненной реальности, а также в киноиндустрии.

Для достижения фотореалистичности цифровых людей особое внимание уделяется разработке техник воссоздания реалистичной кожи и текстур. Исследования направлены на моделирование сложной структуры кожи, включая подповерхностное рассеяние света, микрорельеф и вариации пигментации. Ученые изучают применение передовых алгоритмов процедурной генерации текстур и методов на основе машинного обучения для воссоздания мельчайших деталей, таких как поры, морщинки и веснушки. Акцент делается на создании материалов, которые достоверно реагируют на освещение, имитируя особенности отражения света от живой кожи, что существенно повышает визуальную правдоподобность и погружение в виртуальную реальность. Разработка этих технологий позволит создавать цифровые двойники, практически неотличимые от реальных людей.

Исследования направлены на разработку методов захвата и анимации в реальном времени, что позволит создавать динамичные цифровые двойники для интерактивных приложений. Ключевой задачей является синхронизация движений и мимики цифрового аватара с движениями человека в режиме реального времени, что требует разработки высокоточных систем отслеживания и алгоритмов деформации моделей. Успешная реализация этих методов откроет возможности для создания иммерсивных виртуальных реальностей, где пользователи смогут взаимодействовать с реалистичными цифровыми представлениями самих себя или других людей, а также для применения в таких областях, как телеприсутствие, удаленное обучение и развлечения. Особое внимание уделяется оптимизации вычислительных процессов для обеспечения плавности и отзывчивости анимации даже на устройствах с ограниченными ресурсами.

Сочетание 3D Гауссиан, передовых методов обучения и эффективных графических конвейеров открывает новую эру в создании цифровых людей. Данный симбиоз технологий позволяет достичь беспрецедентного уровня реализма и детализации, значительно превосходящий существующие подходы. 3D Гауссианы, представляя собой компактное и эффективное представление геометрии, в сочетании с продвинутыми алгоритмами обучения, способными извлекать сложные нюансы человеческой внешности и движений, создают цифровые модели, неотличимые от реальных. Эффективные конвейеры рендеринга обеспечивают возможность визуализации этих моделей в реальном времени, что особенно важно для приложений в сферах дополненной и виртуальной реальности, а также для интерактивных цифровых двойников. В результате, становится возможным создание гиперреалистичных цифровых людей, доступных для широкого спектра применений, от развлечений и игр до образования и научных исследований.

Наша методика позволяет получить качественные результаты многоракурсной визуализации, сопоставимые с исходным видео.
Наша методика позволяет получить качественные результаты многоракурсной визуализации, сопоставимые с исходным видео.

Исследование, представленное в статье, словно попытка запечатлеть неуловимое дыхание жизни в цифровой форме. Авторы стремятся не просто воссоздать лицо, но и наделить его выражением, способностью к самовыражению. Этот процесс напоминает алхимию — преобразование статического изображения в динамичную, живую сущность. Как однажды заметил Ян Лекун: «Машинное обучение — это искусство уговаривать данные рассказать историю». И в данном случае, история эта — о передаче тончайших нюансов человеческой мимики, о достижении 3D-консистентности, что является сложнейшей задачей. По сути, создается заклинание, призванное оживить цифровой образ, и, как всегда, успех его будет зависеть от того, насколько хорошо удалось уговорить шум данных заговорить на языке искусства.

Что дальше?

Представленный метод, безусловно, элегантен в своей попытке укротить хаос диффузионных моделей и загнать его в стройные ряды гауссовых представлений. Однако, стоит помнить: любая нормализация — это лишь временное затишье перед бурей. Иллюзия 3D-консистентности, созданная на основе единичного изображения, всё ещё требует проверки в условиях реального мира, где освещение капризно, а ракурсы непредсказуемы. Данные, как всегда, окажутся не такими чистыми, как в учебниках.

Настоящий вызов, вероятно, лежит в области расширения этой техники за пределы лица. Создание полноценных 3D-аватаров, способных к сложным движениям и взаимодействиям, потребует не просто пересчёта гауссиан, а решения фундаментальной проблемы: как заставить неживые пиксели казаться убедительно живыми. И, конечно, необходимо смириться с тем, что идеальной реконструкции не существует — всегда найдётся погрешность, которую можно объяснить недостатком данных или ошибкой в алгоритме.

В конечном итоге, успех этой работы будет зависеть не от количества парамеров, а от способности увидеть красоту в несовершенстве. Ведь данные — это не истина, а компромисс между багом и Excel. И, возможно, самое интересное начнётся тогда, когда эта система начнёт выдавать непредсказуемые, но завораживающие результаты.

Оригинал статьи: https://arxiv.org/pdf/2512.16893.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-21 12:38