Logo Logo
/// News

Disney kombiniert CGI mit KI für filmtaugliche Gesichtsanimationen

[11:00 So,5.Dezember 2021 [e]  von ]    

Wir hatten ja schon öfter über Nvidias Style GAN Deep Learning Algorithmus zum Generieren und Animieren berichtet und auch von Disneys Experimenten mit DeepFake-Algorithmen zur realistischen Darstellung und Animation virtueller Gesichter. Jetzt arbeitet Disneys AI Team an einer besonderen Kombination dieser Methoden mit klassischer CGI Techniken, um künstliche Gesichter auch in Filmqualität simulieren zu können.


Disney-GAN-Faces-CGI-to-GAN
Kombination aus gerendertem Gesicht mit GANStyle2


So können Gesichter mittels Aufnahmen mit mehreren Kameras inzwischen in sehr hoher Qualität digitalisiert und simuliert werden, allerdings vor allem die Hautoberfläche und das dreidimensionale Profil des Gesichts, nicht der ganze Kopf - außer den Haaren fehlen in diesen Modellen die Augen und der Mundinnenraum.

Disney-GAN-Faces-BW-Mask
CGI 3D-Gesichtsmodell ohne Haare, Augen und Mund





Deswegen musste beim Einsatz dieser Gesichtsmodelle in Filmen bisher viel per Hand nachträglich extrem aufwändig retuschiert und ergänzt werden, um einen realistischen animierten Kopf zu erhalten wie zum Beispiel in Star Wars die Re-Animation der mittlerweile verstorbenen Schauspieler Peter Cushing (Grand Moff Tarkin) oder Carrie Fisher (Prinzessin Leia) in kurzen Szenen. Oft trat dann der berüchtigte "Uncanny Valley"-Effekt auf, d.h. die künstlichen Gesichter sind zwar sehr realistisch, aber gleichzeitig noch nicht stimmig genug in Details wie zum Beispiel genau den Augen und dem Mund und dem dadurch und durch andere Details entstehenden Mikro-Mimikausdruck. Anstatt täuschend echt zu sein, wirken sie unheimlich (siehe dazu auch Was ist das Uncanny Valley? ).

Disney-GAN-Faces-CGI-GAN
Kombination aus gerendertem Gesicht mit GANStyle2


Das neue Disney-Projekt versucht jetzt, diesen letzten Schritt per KI zu automatisieren, um die hochqualitativen CGI Gesichtsrenderings mit den Stärken von Deep Learning erzeugten Gesichtern mittels Nvidias StyleGAN2 zu einem extrem echt wirkenden virtuellen Gesicht zu kombinieren - letztere krankten bisher noch an der relativ geringen Auflösung (aktuell 1024×1024) der durch sie erzeugten Gesichter. Sie liegt noch weit unter der für die Darstellung in Filmen benötigten. Oft gab es auch eine mangelnde Kohärenz über Sequenzen von Bildern hinweg, dafür brillierten sie im Gegensatz zu den CGI-Gesichtern mit ihrer realistischen Darstellung von Haaren, Augen und Mund.

Disney-GAN-Faces-wo-Mouth
gerenderte Gesichter im Vergleich mit GANStyle2 generierten Gesichtern


Die neue Methode fügt die per Ray-Tracing erzeugte Hautoberfläche auf das per StyleGAN2 erzeugte Gesicht samt Kopf per Compositing hinzu. Sie ermöglicht auch eine realistische Änderung der Beleuchtung der generierten Gesichter samt Augen, Haaren und Mund mit korrektem Schattenwurf -

Disney-GAN-Lighting-Schatten
Kombination aus gerendertem Gesicht mit GANStyle2 mit unterschiedlichem Lichteinfall


- sowie auch komplexere Änderungen der Umgebungsbeleuchtung in Bezug auf Richtung und Farbe - der KI Algorithmus ergänzt Augen, Haare passend zur gerenderten Gesicht:

Disney-GAN-Lighting-komplex
Kombination aus gerendertem Gesicht mit GANStyle2 mit unterschiedlicher Lichtsituation


Und, ganz wichtig für das von Disney angepeilte Aufgabengebiet: die Ergebnisse sehen auch animiert zum Beispiel beim Wechsel von einer Mimik in eine andre oder beim Sprechen realistisch aus. Auch (leichte) Änderungen der Kameraperspektive können problemlos gemacht werden, bei größeren Änderungen der Perspektive allerdings neigt der Algorithmus zur Bildung von deutlich sichtbaren Artefakten. Noch ist die Methode nicht perfekt, aber ein großer Schritt auf dem Weg zu filmtauglichen künstlichen Gesichtern.

Link mehr Informationen bei studios.disneyresearch.com

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
Darth Schneider    19:22 am 5.12.2021
Wenn man dann halt noch einen Zombie Film machen will… So besonders nach Disney sehen die Gesichter aber noch nicht aus. Gruss Boris
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildAdobe zeigt KI-Tools zur Mimik-Veränderung in Videos - Project Morpheus bildKostenlose Motion Cam App ermöglicht erstmals CinemaDNG RAW-Videoaufnahme auf Smartphones


verwandte Newsmeldungen:
Machine Learning:

Heavy Metal meets Midjourney: Musikvideo aus 10.000 KI-generierten Bildern 4.Dezember 2022
Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning

Streaming Portale:

YouTranscription - Youtube Videos in durchsuchbare PDFs transkribieren 17.Oktober 2022
Creator Music - Musik direkt in YouTube Studio lizensieren 27.September 2022
Netflix gibt grünes Licht für die ARRI Alexa 35 17.September 2022
Blackmagic DaVinci Resolve 18.0.2 Update behebt unter anderem Probleme beim Export zu YouTube 8.September 2022
Megabetrug: YouTube zahlt 23 Millionen Dollar an Content-ID Scammer aus 17.August 2022
Neu: Clips aus längeren Videos einfach für YouTube Shorts ausspielen 8.August 2022
Sony FX3 bekommt begehrte Netflix Zertifizierung 3.August 2022
alle Newsmeldungen zum Thema Streaming Portale


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 5.Dezember 2022 - 11:27
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*