Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum VFX / Compositing / Special Effects-Forum

Infoseite // Deep Fake bei Mandalorian

Panasonic Lumix S5Advertisement

Frage von r.p.television:


Achtung Spoiler!

Wer Episode 8 von Season 2 immer noch nicht gesehen haben sollte (was ist los mit Euch?) sollte das hier komplett skippen.

Ich bin gerade auf diesen Schnipsel gestossen:

https://www.youtube.com/watch?v=wrHXA2cSpNU

Mich hat ja direkt das sehr deutlich erkennbare CGI-Gesicht von Luke Skywalker gestört. Es ist zwar geringfügig besser als bei Tarkin und Leia, aber immer noch eindeutig CGI.
Die Deep Fake Renderings dagegen sind für mich überzeugend. So gesehen fraglich warum man nicht diesen Weg gewählt hat, wenn die Ergebnisse soviel besser sind und vermutlich auch einfacher umzusetzen sind. Ich sehe hier jedenfalls die Zukunft.

Bei den CGI-Gesichtern scheinen die Augen immer tot zu sein und ins Leere zu starren. Scheinbar die größte Problematik.

Space


Antwort von Funless:

Hab‘ kein Disney+, deswegen habe ich The Mandalorian nicht schauen können und kann zu dieser besagten Szene auch nix sagen.

Allerdings habe ich mir vor kurzem Terminator: Dark Fate angeschaut (übrigens ein absolut beschissener Film und dieses filmische Debakel mich nur noch hoffen lässt, dass dieses Franchise endgültig begraben wird - selbst der unsägliche Unfall Terminator Salvation war erheblich besser und das will was heißen) und die Deep Fake Sequenz mit Hamilton, Furlong und Schwarzenegger ganz am Anfang des Films war bisher mit Abstand das beste und beeindruckendste was ich mit diesem Effekt gesehen habe. Da hatte ich mich auch gefragt weshalb man diese Technik nicht auch in Rogue One eingesetzt hat, wäre IMHO ein erheblicher Mehrwert gewesen.

Space


Antwort von klusterdegenerierung:

Ok, ist geparkt, bin bei 7. :-)
Aber bislang wirklich das beste was ich an Action/Fiction Serien gesehen habe.

Schon wegen des Sountracks könnte ich es auf Dauerwiedeholung stellen.

Space


Antwort von Darth Schneider:

Voll deiner Meinung.
Und Luke sieht, da am Schluss, schon ziemlich...sehr echt aus...



Gruss Boris

Space


Antwort von klusterdegenerierung:

"Darth Schneider" hat geschrieben:
Und Luke sieht, da am Schluss, schon ziemlich...sehr echt aus...
Jaa Danke Boris! :-(

Space


Antwort von lensoperator:

Fairer Weise muss man sagen das das Deepfake über das CGI gelegt ist. Wer weiß wie es über den echten Darsteller gewirkt hat. Wobei das glaub ich auch Mark war.

Aber ich finde das Deepfake auch besser. Es gibt dieses kleine etwas...
Allerdings glaub ich das die VFX Firmen da noch etwas Abstand nehmen weil ein CGI Gesicht in jeder Perspektive gleich aussehen muss. Und Deepfake funktioniert oft nur in eine Richtung wirklich gut.

Space


Antwort von markusG:

r.p.television hat geschrieben:
Bei den CGI-Gesichtern scheinen die Augen immer tot zu sein und ins Leere zu starren. Scheinbar die größte Problematik.
Also in deinem verlinkten Video ist der hauptsächliche Unterschied ja imho eigentlich nur dass das Eyelight beim Deepfake stärker ist und beim Rest der Kontrast aufgedreht wurde...nichts was sich generell nicht mit CGI bewerkstelligen lässt. War wohl halt einfach die gestalterische Entscheidung. Fand die Szene jedenfalls gelungen, auch was Mimik anbelangt war es ein sauberer Übergang von Ep.6 / Rückkehr der Jedi-Ritter, imho.

Space


Antwort von r.p.television:

markusG hat geschrieben:
r.p.television hat geschrieben:
Bei den CGI-Gesichtern scheinen die Augen immer tot zu sein und ins Leere zu starren. Scheinbar die größte Problematik.
Also in deinem verlinkten Video ist der hauptsächliche Unterschied ja imho eigentlich nur dass das Eyelight beim Deepfake stärker ist und beim Rest der Kontrast aufgedreht wurde...nichts was sich generell nicht mit CGI bewerkstelligen lässt. War wohl halt einfach die gestalterische Entscheidung. Fand die Szene jedenfalls gelungen, auch was Mimik anbelangt war es ein sauberer Übergang von Ep.6 / Rückkehr der Jedi-Ritter, imho.
Also ich finde da ist schon deutlich mehr Unterschied als nur das gesetzte Eyelight und Kontraste.
Beim Original schweben die Augen völlig leblos und irgendwie auch ein wenig schielend oder unfokusiert wirkend im Gesicht. Das empfand ich damals auch bei Tarkin und Leia in "Rogue One" so.
Es ist vielleicht nicht perfekt wenn man genau hinsieht, aber das Deep Fake reisst mich nicht so aus der Szene. Beim Original sehe ich eindeutig dass hier ein CGI-Gesicht zu sehen ist. Beim Deep Fake nicht.

Space


Antwort von markusG:

r.p.television hat geschrieben:
Also ich finde da ist schon deutlich mehr Unterschied als nur das gesetzte Eyelight und Kontraste.
Beim Original schweben die Augen völlig leblos und irgendwie auch ein wenig schielend oder unfokusiert wirkend im Gesicht.
Ich denke der von dir beschriebene Effekt kommt vom Eyelight und Kontrast. Ist ja nicht so dass das eine unwichtige Kleinigkeit ist - es ist wie gesagt eher eine mutmaßliche gestalterische Entscheidung, die dann eben zu leblosen Augen führt. Ist ja auch bei Live Shooting ohne Eyelight nicht anders, da spielt CGI ja/nein keine Rolle. Warum so entschieden wurde ist mir aber ein Rätsel.

Space



Space


Antwort von r.p.television:

Also in der Szene wo Luke Skywalker den Baby Yoda in der Hand hält und dann wieder zu Mando aufblickt. Tut mir leid. Das Original schielt einfach. Das ist kein gestalterischer Unterschied, sondern einfach fehlerhaft. Die Leia in Rogue One schielt auch als hätte sie am Vortag hart gefeiert.
Und selbst wenn es nur am Eye Light liegen würde: Hier sieht im Vergleich das Werk eines Youtube-Bastlers um Längen überzeugender aus. Das sollte den Machern der ansonsten brillianten Serie zu denken geben.

Space


Antwort von Funless:

Okay, ich muss meine Aussage oben bzgl. Terminator: Dark Fate revidieren (sorry). Es war doch kein Deep Fake, sondern CGI face replacement aber wirklich das bisher beste was ich gesehen habe (deswegen dachte ich tatsächlich, dass es Deep Fake war).

Konkret geht es um diese Sequenz:



Hier das making of wie ILM das realisiert hat:



Wie gesagt, den Film selber kann man nach diesen knapp zwei Minuten ausmachen, ist Schrott. Aber diese Szene finde ich schon echt gut gemacht. Jedenfalls um Welten besser als bei Rogue One.

Space


Antwort von markusG:

r.p.television hat geschrieben:
Tut mir leid. Das Original schielt einfach.
Ich weiß nicht ob du wirklich schielen meinst - die Pupillen sind ja an der gleichen Position. Sie sind halt durch das schwache Eyelight flach, zweidimensional. Aber das ändert nichts an der Blickrichtung. Das ist dann eher eine optische Täuschung die sich dadurch ergibt. Ich vermute mal dass du das meinst...
r.p.television hat geschrieben:
Das ist kein gestalterischer Unterschied, sondern einfach fehlerhaft.
Sagen wir mal es ist ein gestalterischer Fehler ;) Imho liegt es nicht an der Technik als solche, sondern einfach an schlampiger Arbeit.
r.p.television hat geschrieben:
Hier sieht im Vergleich das Werk eines Youtube-Bastlers um Längen überzeugender aus. Das sollte den Machern der ansonsten brillianten Serie zu denken geben.
Mal schön Andrew Kramer machen lassen :P verstehe auch nicht was diese Panne soll, gerade bei so ner wichtigen Schlüsselszene...

Space


Antwort von r.p.television:

Ja, das ist wirklich um Lichtjahre besser.
Was unterlegt dass bei Star Wars wohl einfach nicht die besten Leute an den Hebeln waren.
Also ich konnte es jetzt nicht in bester Qualität anschauen weil mein tolles Glasfaser zur Primetime performancemässig zurück in die 90er gefallen ist, aber ich habe nichts gesehen wo ich sage: Hey, die sind nicht echt.
Der Luke dagegen sieht in HD und erst recht in 4k sofort unecht aus, obwohl seine Bewegungen ja äusserst sparsam sind und auch das Zwielicht die Sache eher erleichtert als die Szenerie am Strand.

Space


Antwort von Onkel Danny:

Also den Spoiler Alarm hätte man sich bei dem großen Vorschaubild yon YT eigentlich sparen können ;)

Aber nachdem Darth es raus gehauen hat...

Wie dem auch sei, es liegt unter anderem an dem hohlen und dunklen Blick/Augen.
Was einfach nur schade ist. Denn die Wissen ja eigentlich wie es geht und bei dem Budget.

Die Terminator Szene sieht echt gut aus, kannte ich auch noch nicht.
Das Problem ist einfach nur, mein Verständnis sagt mir, es können nicht die original Schauspieler sein.

Das Mandalorian so gut funktioniert liegt daran, das es a) sehr einfach gehalten/gestrickt ist
und es b) nur 30 min. lang ist. Einige Zungen behaupten, das es lieber länger sein sollte, aber
das ist so schon ganz gut.

Netflix hat leider auch bei einigen Serien, auch im Comic bereich, diese knapp 30 min. Vorgabe
eingeführt, was einigen Serien nicht gut tut.

Aber da wird sich noch einiges tun in der Zukunft, in diesem Bereich.

greetz

Space


Antwort von slashCAM:


Vorsicht ? wer ?The Mandalorian? derzeit auf Disney+ anschaut, dürfte dies wohl als Spoiler werten ? also nicht weiterlesen. Für den Rest gilt: Derzeit kursiert auf YouTu...



Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
DeepFake Hack bei ?The Mandalorian? realistischer als CGI von Industrial Light & Magic?


Space


Antwort von piano_jochen:

Ich kann mich nicht vorstellen, dass die großen VFX-Studios nicht schon längst sowas per DeepFake machen könnten. Ich vermute eher, dass es rechtlich sehr wackeliges Terrain ist, wenn alte Aufnahmen der Darsteller plötzlich durch Dritte verändert werden, um dadurch neuen kommerziellen Nutzen zu erschließen, der im ursprünglichen Nutzungsvertrag nicht geregelt war.

Space


Antwort von Darth Schneider:

Ich bin nicht wirklich dieser Meinung. wirklich realistisch ist gar nix.
Also ich finde eigentlich beide Versionen sehen zwar ziemlich gut aus.
Aber echt, nach einem wirklich echtem Menschen sehen beide Versionen nicht aus, eher nach hochwertigen Puppen/Action Figuren.
Und wenn ich eine Version besser finde, dann ist es eindeutig die Version von ILM.

Was mir vor allem bei Luke von Deep Fake sofort ins Auge sticht, sind die beiden runden Lampen die sich in seinen Pupillen spiegeln. Das lässt seine Augen glänzen und ihn unter Umständen etwas realer wirken...
Es gibt aber leider in solchen Raumschiff Cockpits eigentlich gar keine runden Spots die irgend wo herum stehen.
In der Szene ist es eher ziemlich dunkel ;)
Also sind Lukes Augen von Deep Fake nicht realistischer, sondern die dunklen Augen ohne Reflexion vom Scheinwerfer, von ILM...Erster Punkt für ILM.

Das zweite was auffällt, das Gesicht von ILM finde ich ist grundsätzlich sorgfältiger modelliert. Die Haut wirkt echter, es gibt auch ein wenig Schweiss/Glanz und undefinierbare kleine Flecken, ganz so wie bei einem echten Menschen, der soeben gekämpft hat.
Bei Deep Fake wirkt für mich die Haut also eher künstlich und trocken (ohne Schweiss vom Kampf) so wie bei einer Puppe. Also zweiter Punkt geht auch an ILM......
Dazu kommt noch, ILM macht ja nicht nur das Gesicht von Luke....sondern auch den ganzen Rest, die CGI und die unzähligen Effekte.
Da muss das Gesamtbild am Schluss einfach passen und es gibt zig. Produzenten und sonstige wichtige Leute, bei so einer Produktion die womöglich alle ihren Senf dazu geben wollen wie Luke auszusehen hat und nicht zwangsläufig einer Meinung sind.

Ich finde die Serie was die Effekte anbelangt auf jeden Fall absolut hervorragend gemacht. Und sonst ? Ich habe bisher keine bessere TV Serie gesehen...
Also wenn jetzt ILM den Luke noch nicht so perfekt hin kriegt ? Und jetzt ? Die anderen können es nicht besser und wenn doch ? ILM hat diese Art von Filmemachen doch eh eigentlich erfunden...
ILM und die ganze Crew hat Oscars verdient, so cool war Star Wars schon seit den Achtzigern nicht mehr.;))

Für den Spoiler wollte ich mich noch entschuldigen, war mir dessen überhaupt nicht bewusst.
Gruss Boris

Space


Antwort von Hayos:

@Darth Schneider: der Macher des Deepfakes unter seinem Video betont, dass er auch nicht so zufrieden ist mit seiner Version. Zb. hätte es auch bessere Ergebnisse gegeben, hätte man einen echten Menschen als Vorlage habt. So musste sich der Deepfake-Algorithmus an der eh schon puppenhaften CGI Version orientieren. Das sieht man meiner Meinung nach sehr gut bei den den Mundbewegungen, die wirken bei beiden sehr artifiziell und um die Augen rum ist auch alles sehr steif.

Und dass ILM ansonsten einen guten Job macht bestreit ja keiner :) Umso mehr fällt eben dieser Qualitätsabfall auf.

P.S. Aber nicht allen: meine Eltern haben nichts bemerkt - die kennen aber auch die Originalfigur nicht (haben nie Star Wars gesehen - ja sowas gibts ;)

Space



Space


Antwort von Funless:

ILM hin oder her, man darf allerdings auch nicht vergessen, dass es letztendlich eine Budgetfrage ist.

Die oben gezeigte qualitativ sichtbar bessere CGI face replacement VFX Sequenz in Terminator: Dark Fate wird mit Sicherheit ein weitaus höheres Budget zur Verfügung gehabt haben, als es in der Mandalorian Episode der Fall gewesen ist und das sieht man dann eben auch am Ergebnis. "You get what you pay for."

Space


Antwort von carstenkurz:

piano_jochen hat geschrieben:
Ich kann mich nicht vorstellen, dass die großen VFX-Studios nicht schon längst sowas per DeepFake machen könnten. Ich vermute eher, dass es rechtlich sehr wackeliges Terrain ist, wenn alte Aufnahmen der Darsteller plötzlich durch Dritte verändert werden, um dadurch neuen kommerziellen Nutzen zu erschließen, der im ursprünglichen Nutzungsvertrag nicht geregelt war.
Und das Terrain ist bei CGI+ face replacement weniger wacklig? Natürlich haben die Produktionen Verträge mit den Darstellern, die das erlauben, egal welche Methode da verwendet wird. Und man darf schon glauben, dass die Darsteller daran auch verdienen.
Wenn die Deepfake-Tools bisher keine hohen Auflösungen unterstützen, dann erübrigt sich doch auch jede Diskussion darüber, warum man das bei einer 1080p oder 4k Produktion nicht einsetzt. Es geht schlicht nicht. Ansonsten werden die Ergebnisse mutmaßlich für ein enges Produktionszeitfenster auch gegenwärtig noch zu unvorhersehbar sein, während man bei klassischen Methoden mehr Einfluss auf Detailaspekte hat. Allerdings könnte es wie im Aufmachervideo in Zukunft eine Option sein, einen Mix aus klassischer CGI und DeepFake einzusetzen, um mit letzterer das finale Quentchen Realismus oder Authentizität rein zu kriegen.

Space


Antwort von macaw:

Ich denke (als jemand, dessen Arbeitsbereich dauernd Gesichtsretuschen beinhaltet), daß deepfake aus diversen Gründen noch nicht in Posthäusern zu finden sind.

1. Die Auflösung. Deepfake kann derzeit maximal 1024 Pixel x 1024 Pixel generieren und das auch nur in einer Software, die nicht allgemein erhältlich ist. 512 Pixel sind in frei zugänglicher Software maximal möglich. Close-ups fallen durch eine solche Beschränkung von vornherein erstmal weg, was im Grunde schon ein k.o. Kriterium ist.

2. Kontrollierbarkeit. Durch die Natur des Prozesses vorgegeben, lässt sich das Ergebnis nicht Pixel für Pixel kontrollieren und damit nicht Art dirigieren. Auch wenn die klassischen Techniken manchmal schrecklich aussehen (wie Peter Cushing, Carrie Fisher in Rogue oder Will Smith in Gemini Man) so ist der Prozess zumindest in jeder Stufe bis ins kleinste kontrollierbar, während man bei deepfake eine Blackbox hat, bei der man (momentan) mehr oder weniger nur abwarten kann was dabei rauskommt.

Space


Antwort von markusG:

Youtuber bekommt für Deep Fakes Job bei Lucasfilm
https://www.golem.de/news/star-wars-you ... 58502.html

Space


Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum VFX / Compositing / Special Effects-Forum

Antworten zu ähnlichen Fragen //


Deep Fake mit EbSynth
Deep Fake - Experte gesucht
Deep ja, Fake nein? Dokumentarfilmer läßt O-Töne von KI einsprechen
Deep Fake - Ein Segen...
Sony stellt MicroLED Wand für virtuelle Filmsets wie bei "The Mandalorian" vor
The Mandalorian - offizieller Trailer
The Mandalorian wird das Kino verändern
Eine Revolution der Filmproduktion: Die virtuellen Echtzeit-Hintergründe von "The Mandalorian"
Die echten Fake-Kameras und -Objektive in Toy Story 4
THE FAKE ARRI TRINITY
Slow Mo Sound is FAKE
Lego Musikvideo und "Fake" Trailer
KI macht"s möglich: Fake-Filmstills von Fritz Langs Star Wars, Jodorowskys Tron, Peter Jacksons Batman und mehr
Der neue THX-Trailer Deep Note 2019 ist fertig - made by Andrew Kramer!
Deep in the Guatemalan Jungle with my FPV Drones
Frische KI-Audio Modelle selbst ausprobieren - Deep Learning Tools for Audacity
Deep Web - Die dunkle Seite Internets (Kurzfilm)
Deep Web - Die dunkle Seite des Internets - Kurzfilm




RSS Facebook Twitter slashCAM-Slash