Disney создала нейронную сеть для автоматического изменения возраста актера

Сеть повторного старения лица от Disney Research Studios может значительно снизить нагрузку на художников и готова к использованию в кино и на телевидении.

Отредактировано 2023-25-06
Коллаж из искусственно состаренных портретов ДиснеяНовая программа уже готова к производственному использованию.

Процесс использования цифровых эффектов для изменения возраста актеров становится все более распространенной практикой в Голливуде (несмотря на многочисленные критические замечания), но для каждого неуловимо помолодевшего Роберта Де Ниро в фильме "Ирландец" требуются сотни часов кропотливой работы художников и инженеров VFX за кадром. Однако по мере того, как нейронные сети становятся все более распространенными и доступными, у тяжеловесов индустрии развлечений появляется возможность использовать эту технологию для оптимизации процесса и одновременного создания более фотореалистичных результатов. В настоящее время мало найдется таких компаний, как Disney, поэтому, вероятно, не будет сюрпризом услышать, что Дом Мыши только что объявил об использовании передовых технологий искусственного интеллекта для "оживления" актеров.

Вчера студия Disney Research Studios представила Face Re-Aging Network (или FRAN), свое последнее достижение в области VFX, которое использует нейронные сети для создания "первого практического, полностью автоматического и готового к производству метода изменения возраста лиц в видеоизображениях". По собственным подсчетам Disney, в 2022 году по меньшей мере в 12 фильмах и телесериалах использовалась технология фотореалистичного цифрового рендеринга, и это число неуклонно растет с момента ее первого появления всего несколько лет назад. "Фотореалистичная цифровая обработка лиц в видео становится все более распространенной в сфере развлечений и рекламы. Но преобладающий рабочий процесс 2D-рисования часто требует покадровой ручной работы, которая может занять несколько дней даже у опытных художников", - объясняет команда в аннотации к своей научной работе. Решение этой проблемы, предложенное FRAN, основано на многоэтапном процессе нейронной сети, который позволяет сократить время и затраты на работу и одновременно повысить реалистичность эффекта".

Смотрите видеосводку Disney ниже:

Как ранее сегодня рассказали Gizmodo и Ars Technica, FRAN использует несколько этапов для создания состаренных лиц. Во-первых, команда использовала программу StyleGAN2 для случайной генерации тысяч синтетически состаренных лиц в возрасте от 18 до 85 лет. После создания этой базы данных инструменты машинного обучения состарили и де-возрастили эти искусственные портреты, которые затем были переданы в другую нейронную сеть, FRAN. После этого FRAN может применять полученные знания к видео реальных людей, добавляя или вычитая годы независимо от угла, положения, движения или освещения. После этого художники могут вручную подправить кадры и переходы, если это необходимо.

Результаты все еще не идеальны, но они, пожалуй, столь же убедительны, как и в таких фильмах, как "Первый богатырь" или "Человек-муравей и Оса". Если ничего другого нет, то конечные продукты будут только улучшаться со временем, поскольку нейронные сети, подобные FRAN, становятся все умнее в своих методах.