[11:00 So,5.Dezember 2021 [e] von Thomas Richter] |
Wir hatten ja schon öfter über Nvidias Style GAN Deep Learning Algorithmus zum
;) Kombination aus gerendertem Gesicht mit GANStyle2 So können Gesichter mittels Aufnahmen mit mehreren Kameras inzwischen in sehr hoher Qualität digitalisiert und simuliert werden, allerdings vor allem die Hautoberfläche und das dreidimensionale Profil des Gesichts, nicht der ganze Kopf - außer den Haaren fehlen in diesen Modellen die Augen und der Mundinnenraum. ;) CGI 3D-Gesichtsmodell ohne Haare, Augen und Mund Deswegen musste beim Einsatz dieser Gesichtsmodelle in Filmen bisher viel per Hand nachträglich extrem aufwändig retuschiert und ergänzt werden, um einen realistischen animierten Kopf zu erhalten wie zum Beispiel in Star Wars die Re-Animation der mittlerweile verstorbenen Schauspieler Peter Cushing (Grand Moff Tarkin) oder Carrie Fisher (Prinzessin Leia) in kurzen Szenen. Oft trat dann der berüchtigte "Uncanny Valley"-Effekt auf, d.h. die künstlichen Gesichter sind zwar sehr realistisch, aber gleichzeitig noch nicht stimmig genug in Details wie zum Beispiel genau den Augen und dem Mund und dem dadurch und durch andere Details entstehenden Mikro-Mimikausdruck. Anstatt täuschend echt zu sein, wirken sie unheimlich (siehe dazu auch  Was ist das Uncanny Valley? ). ;) Kombination aus gerendertem Gesicht mit GANStyle2 Das neue Disney-Projekt versucht jetzt, diesen letzten Schritt per KI zu automatisieren, um die hochqualitativen CGI Gesichtsrenderings mit den Stärken von Deep Learning erzeugten Gesichtern mittels Nvidias StyleGAN2 zu einem extrem echt wirkenden virtuellen Gesicht zu kombinieren - letztere krankten bisher noch an der relativ geringen Auflösung (aktuell 1024×1024) der durch sie erzeugten Gesichter. Sie liegt noch weit unter der für die Darstellung in Filmen benötigten. Oft gab es auch eine mangelnde Kohärenz über Sequenzen von Bildern hinweg, dafür brillierten sie im Gegensatz zu den CGI-Gesichtern mit ihrer realistischen Darstellung von Haaren, Augen und Mund. ;) gerenderte Gesichter im Vergleich mit GANStyle2 generierten Gesichtern Die neue Methode fügt die per Ray-Tracing erzeugte Hautoberfläche auf das per StyleGAN2 erzeugte Gesicht samt Kopf per Compositing hinzu. Sie ermöglicht auch eine realistische Änderung der Beleuchtung der generierten Gesichter samt Augen, Haaren und Mund mit korrektem Schattenwurf - ;) Kombination aus gerendertem Gesicht mit GANStyle2 mit unterschiedlichem Lichteinfall - sowie auch komplexere Änderungen der Umgebungsbeleuchtung in Bezug auf Richtung und Farbe - der KI Algorithmus ergänzt Augen, Haare passend zur gerenderten Gesicht: ;) Kombination aus gerendertem Gesicht mit GANStyle2 mit unterschiedlicher Lichtsituation Und, ganz wichtig für das von Disney angepeilte Aufgabengebiet: die Ergebnisse sehen auch animiert zum Beispiel beim Wechsel von einer Mimik in eine andre oder beim Sprechen realistisch aus. Auch (leichte) Änderungen der Kameraperspektive können problemlos gemacht werden, bei größeren Änderungen der Perspektive allerdings neigt der Algorithmus zur Bildung von deutlich sichtbaren Artefakten. Noch ist die Methode nicht perfekt, aber ein großer Schritt auf dem Weg zu filmtauglichen künstlichen Gesichtern.  mehr Informationen bei studios.disneyresearch.com |
 |
|
|
Adobe zeigt KI-Tools zur Mimik-Veränderung in Videos - Project Morpheus
Kostenlose Motion Cam App ermöglicht erstmals CinemaDNG RAW-Videoaufnahme auf Smartphones
