Нейросеть MagicAnimate реалистично «оживляет» фотографии и картинки

Исследователи из Национального университета Сингапура научились «оживлять» изображения при помощи разработанной ими модели машинного обучения MagicAnimate. Нейросеть, по словам её создателей, значительно лучше справляется со своей задачей по сравнению с похожими решениями.

MagicAnimate

Для создания анимации нейросеть берёт исходное изображение и последовательность кадров из библиотеки DensePose. Затем при помощи диффузионной модели производится генерация кадров будущей анимации на основе эталонного изображения. Полученные статичные кадры «склеиваются» в готовый ролик.

MagicAnimate
MagicAnimate

Разработчики отмечают, что нейросеть сама дорисовывает недостающие элементы объекта, а пользователь может указать уточняющий запрос для генерации. Судя по опубликованным примерам работы, MagicAnimate неплохо показывает себя даже в «оживлении» несуществующих персонажей, сгенерированных нейросетью DALL-E 3, а также в сценарии с анимированием групповых снимков.

MagicAnimate

Ознакомиться с исходным кодом проекта можно на GitHub, а протестировать MagicAnimate — на сайте Hugging Face.

Источник

Поделиться ссылкой:

Total Views: 78 ,
 

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *