Logo Logo
/// News

Neue Disney KI kann Schauspieler in Sekunden altern lassen - oder verjüngen

[11:43 Mi,14.Dezember 2022 [e]  von ]    

Disney erforscht schon länger die Möglichkeiten, KIs in Form von neuronalen Netzen zu nutzen, um so arbeits- und zeitaufwändige Prozesse in der Film(post)produktion zu beschleunigen. Jetzt hat ein Team von Forschern von Disneys und der ETH Zürich einen Algorithmus vorgestellt, welcher es erlaubt, Schauspieler in Aufnahmen älter oder jünger erscheinen zu lassen, eine Aufgabe die oft benötigt wird in Filmen - bekanntestes Beispiel ist hier wahrscheinlich Martin Scorseses The Irishman (2019), in welchem Robert De Niro und Al Pacino digital verjüngt wurden. Im folgenden Video wird die neue Methode schön erklärt und ihre Qualität demonstriert:





Der FRAN getaufte Algorithmus (Face Re-Aging Network) kann Gesichter sowohl künstlich altern (Aging) als auch verjüngen (De-Aging). Er stellt eine Alternative dar zu dem ansonsten sehr arbeitsintensiven Vorgehen, Einzelbilder eines Gesichts per Handarbeit zu ändern, und erledigt dies mit einer Geschwindigkeit von nur 5 Sekunden pro Einzelbild. FRAN erlaubt auch eine weitgehende künstlerische Kontrolle über das Ergebnis mittels einfacher und intuitiven Mechanismen, die eine Feinabstimmung des De-Aging-Effekts ermöglichen, denn es kann als Node mit unterschiedlichen Parametern im Compositingprogramm Nuke eingebunden werden - eine Funktion, die in realen Produktionspipelines von Filmen von großer Bedeutung ist.

Im folgenden Beispiel sind mehrere Videobilder einer Person (Alter 35) zu sehen, die auf 65 (obere Reihe) und 18 (untere Reihe) gealtert bzw. verjüngt wurde.

De-Aging-18-65



De-Aging reif für die Filmproduktion


Laut Disney ist FRAN der erste produktionsreife, vollautomatische De-Aging Algorithmus - bisherige Algorithmen hatten Probleme, die Identität der Gesichter bei der künstliche Alterung sowie die Konsistenz der Änderungen bei Bildsequenzen zu wahren oder auch einfach Bilder mit einer ausreichend hohen Auflösung für Filme zu erzeugen. FRAN dagegen liefert laut Disney zeitlich konsistente Ergebnisse bei Videos, die Gesichter aus beliebigen Blickwinkeln, unter den unterschiedlichsten Beleuchtungsbedingungen und in Bewegung zeigen.


FRAN in Nuke


Möglich wurde dies durch einen neuartigen Ansatz beim Training. So wurde das neuronale Netzwerk von FRAN mit einem großen Datensatz von Paaren von zufällig erzeugten synthetischen Gesichtern unterschiedlichen Alters trainiert. So wurde die Notwendigkeit umgangen, Tausende von Bildern von echten Menschen unterschiedlichen Alters mit demselben Gesichtsausdruck, derselben Pose, Beleuchtung und Hintergrund zu finden. Dies ermöglichte eine höhere Qualität der Resultate als bisher. Hier die Studie High-Resolution Neural Face Swapping for Visual Effects.

One-Actor-46-20
De-Aging per FRAN und Maske



Einschränkungen


Aber auch der neue De-Aging Algorithmus ist nicht perfekt: FRAN hat Schwierigkeiten, sehr große Änderungen am Alter vornehmen, also zum Beispiel das Gesicht eines Erwachsenen in das eines Kindes verwandeln - ebenso kann es das Ergrauen von Haaren nicht simulieren. Da manuelle VFX-Arbeiten und sogar die praktische Anwendung von prothetischem Make-up nicht diesen Einschränkungen unterliegen, wird FRAN also wahrscheinlich nicht so schnell viele Arbeitsplätze in der Industrie ersetzen. Wie am zweiten Beispiel zu sehen ist, kann FRAN jedoch gut zur Ergänzung von Altersänderungen der Maske genutzt werden.

Doch wie immer bei KI-Forschungsarbeiten und -Algorithmen gilt auch hier, daß die Ergebnisse in den nächsten ein, zwei Studien sehr wahrscheinlich eine deutliche Verbesserung erleben werden.


Disney forscht schon länger an VFX KIs


Disney Research arbeitet schon länger an KI-Algorithmen, die Aufgaben in der Filmpostproduktion übernehmen können. So hatte Disney bereits im Juli 2020 eine Forschungsarbeit zusammen mit der ETH Zürich vorgestellt, in welcher eine hochauflösende DeepFake-Methode vorgestellt wurde, um vollautomatisch per neuronalem Netzwerk Gesichter in Videos und Bildern auszutauschen. Mit deren Hilfe konnte das Gesicht eines Schauspielers durch das einer beliebigen anderen Person ausgetauscht, aber weiterhin täuschend echt durch jenen animiert werden.

Disney-DeepFake-Basis
Disney DeepFake



Ein anderer Disney Algorithmus, der im Dezember 2021 vorgestellt wurde, ermöglichte eine realistische Änderung der Beleuchtung von generierten Gesichter samt Augen, Haaren und Mund mit korrektem Schattenwurf - sowie auch komplexere Änderungen der Umgebungsbeleuchtung in Bezug auf Richtung und Farbe. Und, ganz wichtig für das von Disney angepeilte Aufgabengebiet im Film: die Ergebnisse sehen auch animiert - zum Beispiel beim Wechsel von einer Mimik in eine andre oder beim Sprechen - realistisch aus.

Link mehr Informationen bei studios.disneyresearch.com

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
7River    12:32 am 14.12.2022
Das sah doch gar nicht mal so schlecht aus, fand ich.
Darth Schneider    12:19 am 14.12.2022
Zum Glück trifft das nur die Schauspieler. Ich sehe schon alt genug aus..;)))) Gruss Boris
Tobetebot    11:54 am 14.12.2022
Das hätte die für die Serie Obi-Wan Kenobi nutzen sollen, als Anakin und Obi-Wan miteinander trainierten.
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildNeue Firmware: DJI Avata FPV-Drohne bekommt 10 Bit, neue Frameraten und mehr bildAMDs Radeon RX 7900 jetzt (schon wieder nicht mehr) verfügbar


verwandte Newsmeldungen:
Machine Learning:

Runway Gen1: Neue Video-KI stilisiert Videos, maskiert Objekte, rendert 3D-Modelle 6.Februar 2023
Neues Samsung Galaxy S23 Ultra Smartphone: 8K, 200MP-Sensor, KI-Nachtmodus und verbesserter Autofokus 3.Februar 2023
Neue Audio KI generiert neben Musik auch beliebige Soundeffekte 2.Februar 2023
Erst Bilder, dann Sounds: Neue Google-KI generiert beliebige Musik nach Textbeschreibung 30.Januar 2023
Neuer KI-Effekt NVIDIA Eye Contact: Bye bye Teleprompter? 25.Januar 2023
Der totale Remix: Neue KI Tune-A-Video macht neue Videos aus alten Clips 24.Januar 2023
Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)? 23.Januar 2023
alle Newsmeldungen zum Thema Machine Learning

Streaming Portale:

Drohnenunfall bei Netflix-Dreh: Schauspieler im Gesicht verletzt 4.Februar 2023
ARRIs virtuelles Filmset für die Netflix Serie "1899": Die neue Art der Filmproduktion 31.Dezember 2022
Vertikal, horizontal, egal - TikTok will neues YouTube werden 18.Dezember 2022
Sony FR7 erhält als erste PTZ-Kamera Netflix Zertifizierung 6.Dezember 2022
YouTranscription - Youtube Videos in durchsuchbare PDFs transkribieren 17.Oktober 2022
Creator Music - Musik direkt in YouTube Studio lizensieren 27.September 2022
Netflix gibt grünes Licht für die ARRI Alexa 35 17.September 2022
alle Newsmeldungen zum Thema Streaming Portale


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 6.Februar 2023 - 23:12
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*