Новая нейросеть меняет людям на видео всю голову

Компания Nvidia научила нейросеть анимировать 3D-модель лица, используя для этого только голос. Технологию назвали Audio2Face, она реализует процесс автоматического монтажа.

Первый модуль под названием Head2Head Aligner отвечает за качественный перенос информации о позе и мимике с целевой головы на исходную путём глубокого анализа модели. Второй модуль — Head2Scene Blender — решает проблемы, связанные с изменением цвета кожи и несовпадением фона вокруг головы в процессе замены. Для устранения неуместных контрастов и создания семантического эталона цвета внедрён алгоритм Blending UNet. Результат слаженной работы всех этих компонентов можно оценить на видео.
Масштабные эксперименты показали, что новый метод даёт превосходные результаты при замене головы на различных сценах. Впрочем, авторам ещё есть над чем работать, поскольку различные артефакты всё же выдают подмену. 

Источник

Поделиться ссылкой:

Total Views: 490 ,
 

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *