Logo Logo
/// News

Disney kombiniert CGI mit KI für filmtaugliche Gesichtsanimationen

[11:00 So,5.Dezember 2021 [e]  von ]    

Wir hatten ja schon öfter über Nvidias Style GAN Deep Learning Algorithmus zum Generieren und Animieren berichtet und auch von Disneys Experimenten mit DeepFake-Algorithmen zur realistischen Darstellung und Animation virtueller Gesichter. Jetzt arbeitet Disneys AI Team an einer besonderen Kombination dieser Methoden mit klassischer CGI Techniken, um künstliche Gesichter auch in Filmqualität simulieren zu können.


Disney-GAN-Faces-CGI-to-GAN
Kombination aus gerendertem Gesicht mit GANStyle2


So können Gesichter mittels Aufnahmen mit mehreren Kameras inzwischen in sehr hoher Qualität digitalisiert und simuliert werden, allerdings vor allem die Hautoberfläche und das dreidimensionale Profil des Gesichts, nicht der ganze Kopf - außer den Haaren fehlen in diesen Modellen die Augen und der Mundinnenraum.

Disney-GAN-Faces-BW-Mask
CGI 3D-Gesichtsmodell ohne Haare, Augen und Mund





Deswegen musste beim Einsatz dieser Gesichtsmodelle in Filmen bisher viel per Hand nachträglich extrem aufwändig retuschiert und ergänzt werden, um einen realistischen animierten Kopf zu erhalten wie zum Beispiel in Star Wars die Re-Animation der mittlerweile verstorbenen Schauspieler Peter Cushing (Grand Moff Tarkin) oder Carrie Fisher (Prinzessin Leia) in kurzen Szenen. Oft trat dann der berüchtigte "Uncanny Valley"-Effekt auf, d.h. die künstlichen Gesichter sind zwar sehr realistisch, aber gleichzeitig noch nicht stimmig genug in Details wie zum Beispiel genau den Augen und dem Mund und dem dadurch und durch andere Details entstehenden Mikro-Mimikausdruck. Anstatt täuschend echt zu sein, wirken sie unheimlich (siehe dazu auch Was ist das Uncanny Valley? ).

Disney-GAN-Faces-CGI-GAN
Kombination aus gerendertem Gesicht mit GANStyle2


Das neue Disney-Projekt versucht jetzt, diesen letzten Schritt per KI zu automatisieren, um die hochqualitativen CGI Gesichtsrenderings mit den Stärken von Deep Learning erzeugten Gesichtern mittels Nvidias StyleGAN2 zu einem extrem echt wirkenden virtuellen Gesicht zu kombinieren - letztere krankten bisher noch an der relativ geringen Auflösung (aktuell 1024×1024) der durch sie erzeugten Gesichter. Sie liegt noch weit unter der für die Darstellung in Filmen benötigten. Oft gab es auch eine mangelnde Kohärenz über Sequenzen von Bildern hinweg, dafür brillierten sie im Gegensatz zu den CGI-Gesichtern mit ihrer realistischen Darstellung von Haaren, Augen und Mund.

Disney-GAN-Faces-wo-Mouth
gerenderte Gesichter im Vergleich mit GANStyle2 generierten Gesichtern


Die neue Methode fügt die per Ray-Tracing erzeugte Hautoberfläche auf das per StyleGAN2 erzeugte Gesicht samt Kopf per Compositing hinzu. Sie ermöglicht auch eine realistische Änderung der Beleuchtung der generierten Gesichter samt Augen, Haaren und Mund mit korrektem Schattenwurf -

Disney-GAN-Lighting-Schatten
Kombination aus gerendertem Gesicht mit GANStyle2 mit unterschiedlichem Lichteinfall


- sowie auch komplexere Änderungen der Umgebungsbeleuchtung in Bezug auf Richtung und Farbe - der KI Algorithmus ergänzt Augen, Haare passend zur gerenderten Gesicht:

Disney-GAN-Lighting-komplex
Kombination aus gerendertem Gesicht mit GANStyle2 mit unterschiedlicher Lichtsituation


Und, ganz wichtig für das von Disney angepeilte Aufgabengebiet: die Ergebnisse sehen auch animiert zum Beispiel beim Wechsel von einer Mimik in eine andre oder beim Sprechen realistisch aus. Auch (leichte) Änderungen der Kameraperspektive können problemlos gemacht werden, bei größeren Änderungen der Perspektive allerdings neigt der Algorithmus zur Bildung von deutlich sichtbaren Artefakten. Noch ist die Methode nicht perfekt, aber ein großer Schritt auf dem Weg zu filmtauglichen künstlichen Gesichtern.

Link mehr Informationen bei studios.disneyresearch.com

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
Darth Schneider    19:22 am 5.12.2021
Wenn man dann halt noch einen Zombie Film machen will… So besonders nach Disney sehen die Gesichter aber noch nicht aus. Gruss Boris
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildAdobe zeigt KI-Tools zur Mimik-Veränderung in Videos - Project Morpheus bildKostenlose Motion Cam App ermöglicht erstmals CinemaDNG RAW-Videoaufnahme auf Smartphones


verwandte Newsmeldungen:
Machine Learning:

HumanNeRF - KI modelliert menschliche Körper 14.Januar 2022
Wie Peter Jacksons Beatles-Doku "Get Back" erst durch AI möglich wurde 31.Dezember 2021
Zum selber ausprobieren: Diese KI verändert das Alter von Gesichtern 12.Dezember 2021
Adobe zeigt KI-Tools zur Mimik-Veränderung in Videos - Project Morpheus 4.Dezember 2021
Neural Nano Optics -Mit Metamaterial-Optik und KI zur Salzkorn-Kamera 2.Dezember 2021
Videomasken einfach per Beschreibung definieren durch neuen KI-Algorithmus 1.Dezember 2021
KI berechnet Videoclip aus Bildsequenz - ADOP 30.November 2021
alle Newsmeldungen zum Thema Machine Learning

Streaming Portale:

Wozu Farbmanagement in der Filmproduktion? Netflix klärt auf 27.Dezember 2021
Netflix: kostenlose Webinare für angehende Filmemacher, Autoren und Produzenten 12.Dezember 2021
YouTube belohnt Shorts mit 100 Millionen US-Dollar - auch in Deutschland 4.Oktober 2021
Wie man eine Netflix-Doku über ein beliebiges Thema macht 3.Oktober 2021
Netflix eröffnet Büro in Berlin und investiert 500 Millionen Euro in deutsche Produktionen 17.September 2021
Vimeo unterstützt ab sofort Dolby Vision HDR vom iPhone 12 13.September 2021
Netflix führt teilweise Impfpflicht für seine Filmproduktionen ein 5.August 2021
alle Newsmeldungen zum Thema Streaming Portale


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 20.Januar 2022 - 17:24
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*