Инженеры Google разработали новую нейросеть VLOGGER, способную из статической фотографии человека делать видео, на котором он что-то рассказывает. При этом используется ещё и запись речи, которая синхронизируется с говорящим персонажем в ролике.
Исходная картинка Результат генерации
«Наша цель — создать фотореалистичное видео переменной длины, изображающее речь целевого человека, включая его голову и жесты», — говорится на сайте проекта.
При генерации видео нейросеть учитывает предложенную аудиодорожку, чтобы создать подходящие движения тела, выражение лица, позу и даже соответствующим образом управлять взглядом. Более того, впоследствии можно даже редактировать выражение лица, как, например, открыть/закрыть глаза или рот.
Исходная картинка Результат генерации
Одной из сфер применения новой технологии может быть адаптация видео при переводе на другие языки. Нередко в фильмах и сериалах с переводом можно заметить, что речь не соответствует движению губ. VLOGGER позволяет это исправить.
Больше примеров видео и подробности работы нейросети доступны по ссылке.
