Главная » Новости » Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос

Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос

c3b8fadc94956e9a118fe60fb62b11ea9c470369

Компания NVIDIA больше известна как производитель видеокарт, но она также создаёт некоторые интересные программные инструменты. Примером этого является система Audio2Face, которая позволяет анимировать 3D-модели на основе записанного голоса.

В Audio2Face реализуется процесс автоматического монтажа. Инструмент работает на открытой платформе физически корректного моделирования в реальном времени NVIDIA Omniverse. Программа берёт аудиофайл и создаёт на модели удивительно хорошо совпадающую анимацию. Она хорошо работает с большинством языков.

Для инструмента NVIDIA создала глубокую нейронную сеть, которая сопоставляет лицевую анимацию со звуком в реальном времени. У компании есть веб-сайт с инструкциями к Audio2Face. Также уже можно скачать открытую бета-версию программы. А пока можно посмотреть на примеры работы технологии. Результат может даже пугать.

©  Ferra.ru

Опубликовано: 9 ноября 2021
↓