r.p.television
Beiträge: 3511

Deep Fake bei Mandalorian

Beitrag von r.p.television »

Achtung Spoiler!

Wer Episode 8 von Season 2 immer noch nicht gesehen haben sollte (was ist los mit Euch?) sollte das hier komplett skippen.

Ich bin gerade auf diesen Schnipsel gestossen:



Mich hat ja direkt das sehr deutlich erkennbare CGI-Gesicht von Luke Skywalker gestört. Es ist zwar geringfügig besser als bei Tarkin und Leia, aber immer noch eindeutig CGI.
Die Deep Fake Renderings dagegen sind für mich überzeugend. So gesehen fraglich warum man nicht diesen Weg gewählt hat, wenn die Ergebnisse soviel besser sind und vermutlich auch einfacher umzusetzen sind. Ich sehe hier jedenfalls die Zukunft.

Bei den CGI-Gesichtern scheinen die Augen immer tot zu sein und ins Leere zu starren. Scheinbar die größte Problematik.



Funless
Beiträge: 5484

Re: Deep Fake bei Mandalorian

Beitrag von Funless »

Hab‘ kein Disney+, deswegen habe ich The Mandalorian nicht schauen können und kann zu dieser besagten Szene auch nix sagen.

Allerdings habe ich mir vor kurzem Terminator: Dark Fate angeschaut (übrigens ein absolut beschissener Film und dieses filmische Debakel mich nur noch hoffen lässt, dass dieses Franchise endgültig begraben wird - selbst der unsägliche Unfall Terminator Salvation war erheblich besser und das will was heißen) und die Deep Fake Sequenz mit Hamilton, Furlong und Schwarzenegger ganz am Anfang des Films war bisher mit Abstand das beste und beeindruckendste was ich mit diesem Effekt gesehen habe. Da hatte ich mich auch gefragt weshalb man diese Technik nicht auch in Rogue One eingesetzt hat, wäre IMHO ein erheblicher Mehrwert gewesen.
Funless has spoken!

No Cenobites were harmed during filming.
Zuletzt geändert von Funless am Mo 28 Dez, 2020 17:36, insgesamt 1-mal geändert.



klusterdegenerierung
Beiträge: 27312

Re: Deep Fake bei Mandalorian

Beitrag von klusterdegenerierung »

Ok, ist geparkt, bin bei 7. :-)
Aber bislang wirklich das beste was ich an Action/Fiction Serien gesehen habe.

Schon wegen des Sountracks könnte ich es auf Dauerwiedeholung stellen.
"Was von Natur aus flach ist, bläht sich auf!"



Darth Schneider
Beiträge: 19102

Re: Deep Fake bei Mandalorian

Beitrag von Darth Schneider »

Voll deiner Meinung.
Und Luke sieht, da am Schluss, schon ziemlich...sehr echt aus...



Gruss Boris
Alles vor und rund herum um die Kamera ist für einen guten Film viel, viel wichtiger als die Kamera selber.



klusterdegenerierung
Beiträge: 27312

Re: Deep Fake bei Mandalorian

Beitrag von klusterdegenerierung »

Darth Schneider hat geschrieben: Mo 28 Dez, 2020 18:50 Und Luke sieht, da am Schluss, schon ziemlich...sehr echt aus...
Jaa Danke Boris! :-(
"Was von Natur aus flach ist, bläht sich auf!"



lensoperator
Beiträge: 170

Re: Deep Fake bei Mandalorian

Beitrag von lensoperator »

Fairer Weise muss man sagen das das Deepfake über das CGI gelegt ist. Wer weiß wie es über den echten Darsteller gewirkt hat. Wobei das glaub ich auch Mark war.

Aber ich finde das Deepfake auch besser. Es gibt dieses kleine etwas...
Allerdings glaub ich das die VFX Firmen da noch etwas Abstand nehmen weil ein CGI Gesicht in jeder Perspektive gleich aussehen muss. Und Deepfake funktioniert oft nur in eine Richtung wirklich gut.



markusG
Beiträge: 4394

Re: Deep Fake bei Mandalorian

Beitrag von markusG »

r.p.television hat geschrieben: Mo 28 Dez, 2020 15:04 Bei den CGI-Gesichtern scheinen die Augen immer tot zu sein und ins Leere zu starren. Scheinbar die größte Problematik.
Also in deinem verlinkten Video ist der hauptsächliche Unterschied ja imho eigentlich nur dass das Eyelight beim Deepfake stärker ist und beim Rest der Kontrast aufgedreht wurde...nichts was sich generell nicht mit CGI bewerkstelligen lässt. War wohl halt einfach die gestalterische Entscheidung. Fand die Szene jedenfalls gelungen, auch was Mimik anbelangt war es ein sauberer Übergang von Ep.6 / Rückkehr der Jedi-Ritter, imho.



r.p.television
Beiträge: 3511

Re: Deep Fake bei Mandalorian

Beitrag von r.p.television »

markusG hat geschrieben: Mo 28 Dez, 2020 19:35
r.p.television hat geschrieben: Mo 28 Dez, 2020 15:04 Bei den CGI-Gesichtern scheinen die Augen immer tot zu sein und ins Leere zu starren. Scheinbar die größte Problematik.
Also in deinem verlinkten Video ist der hauptsächliche Unterschied ja imho eigentlich nur dass das Eyelight beim Deepfake stärker ist und beim Rest der Kontrast aufgedreht wurde...nichts was sich generell nicht mit CGI bewerkstelligen lässt. War wohl halt einfach die gestalterische Entscheidung. Fand die Szene jedenfalls gelungen, auch was Mimik anbelangt war es ein sauberer Übergang von Ep.6 / Rückkehr der Jedi-Ritter, imho.
Also ich finde da ist schon deutlich mehr Unterschied als nur das gesetzte Eyelight und Kontraste.
Beim Original schweben die Augen völlig leblos und irgendwie auch ein wenig schielend oder unfokusiert wirkend im Gesicht. Das empfand ich damals auch bei Tarkin und Leia in "Rogue One" so.
Es ist vielleicht nicht perfekt wenn man genau hinsieht, aber das Deep Fake reisst mich nicht so aus der Szene. Beim Original sehe ich eindeutig dass hier ein CGI-Gesicht zu sehen ist. Beim Deep Fake nicht.



markusG
Beiträge: 4394

Re: Deep Fake bei Mandalorian

Beitrag von markusG »

r.p.television hat geschrieben: Mo 28 Dez, 2020 20:41 Also ich finde da ist schon deutlich mehr Unterschied als nur das gesetzte Eyelight und Kontraste.
Beim Original schweben die Augen völlig leblos und irgendwie auch ein wenig schielend oder unfokusiert wirkend im Gesicht.
Ich denke der von dir beschriebene Effekt kommt vom Eyelight und Kontrast. Ist ja nicht so dass das eine unwichtige Kleinigkeit ist - es ist wie gesagt eher eine mutmaßliche gestalterische Entscheidung, die dann eben zu leblosen Augen führt. Ist ja auch bei Live Shooting ohne Eyelight nicht anders, da spielt CGI ja/nein keine Rolle. Warum so entschieden wurde ist mir aber ein Rätsel.



r.p.television
Beiträge: 3511

Re: Deep Fake bei Mandalorian

Beitrag von r.p.television »

Also in der Szene wo Luke Skywalker den Baby Yoda in der Hand hält und dann wieder zu Mando aufblickt. Tut mir leid. Das Original schielt einfach. Das ist kein gestalterischer Unterschied, sondern einfach fehlerhaft. Die Leia in Rogue One schielt auch als hätte sie am Vortag hart gefeiert.
Und selbst wenn es nur am Eye Light liegen würde: Hier sieht im Vergleich das Werk eines Youtube-Bastlers um Längen überzeugender aus. Das sollte den Machern der ansonsten brillianten Serie zu denken geben.



Funless
Beiträge: 5484

Re: Deep Fake bei Mandalorian

Beitrag von Funless »

Okay, ich muss meine Aussage oben bzgl. Terminator: Dark Fate revidieren (sorry). Es war doch kein Deep Fake, sondern CGI face replacement aber wirklich das bisher beste was ich gesehen habe (deswegen dachte ich tatsächlich, dass es Deep Fake war).

Konkret geht es um diese Sequenz:



Hier das making of wie ILM das realisiert hat:



Wie gesagt, den Film selber kann man nach diesen knapp zwei Minuten ausmachen, ist Schrott. Aber diese Szene finde ich schon echt gut gemacht. Jedenfalls um Welten besser als bei Rogue One.
Funless has spoken!

No Cenobites were harmed during filming.



markusG
Beiträge: 4394

Re: Deep Fake bei Mandalorian

Beitrag von markusG »

r.p.television hat geschrieben: Mo 28 Dez, 2020 20:57 Tut mir leid. Das Original schielt einfach.
Ich weiß nicht ob du wirklich schielen meinst - die Pupillen sind ja an der gleichen Position. Sie sind halt durch das schwache Eyelight flach, zweidimensional. Aber das ändert nichts an der Blickrichtung. Das ist dann eher eine optische Täuschung die sich dadurch ergibt. Ich vermute mal dass du das meinst...
r.p.television hat geschrieben: Mo 28 Dez, 2020 20:57Das ist kein gestalterischer Unterschied, sondern einfach fehlerhaft.
Sagen wir mal es ist ein gestalterischer Fehler ;) Imho liegt es nicht an der Technik als solche, sondern einfach an schlampiger Arbeit.
r.p.television hat geschrieben: Mo 28 Dez, 2020 20:57Hier sieht im Vergleich das Werk eines Youtube-Bastlers um Längen überzeugender aus. Das sollte den Machern der ansonsten brillianten Serie zu denken geben.
Mal schön Andrew Kramer machen lassen :P verstehe auch nicht was diese Panne soll, gerade bei so ner wichtigen Schlüsselszene...



r.p.television
Beiträge: 3511

Re: Deep Fake bei Mandalorian

Beitrag von r.p.television »

Ja, das ist wirklich um Lichtjahre besser.
Was unterlegt dass bei Star Wars wohl einfach nicht die besten Leute an den Hebeln waren.
Also ich konnte es jetzt nicht in bester Qualität anschauen weil mein tolles Glasfaser zur Primetime performancemässig zurück in die 90er gefallen ist, aber ich habe nichts gesehen wo ich sage: Hey, die sind nicht echt.
Der Luke dagegen sieht in HD und erst recht in 4k sofort unecht aus, obwohl seine Bewegungen ja äusserst sparsam sind und auch das Zwielicht die Sache eher erleichtert als die Szenerie am Strand.



Onkel Danny
Beiträge: 481

Re: Deep Fake bei Mandalorian

Beitrag von Onkel Danny »

Also den Spoiler Alarm hätte man sich bei dem großen Vorschaubild yon YT eigentlich sparen können ;)

Aber nachdem Darth es raus gehauen hat...

Wie dem auch sei, es liegt unter anderem an dem hohlen und dunklen Blick/Augen.
Was einfach nur schade ist. Denn die Wissen ja eigentlich wie es geht und bei dem Budget.

Die Terminator Szene sieht echt gut aus, kannte ich auch noch nicht.
Das Problem ist einfach nur, mein Verständnis sagt mir, es können nicht die original Schauspieler sein.

Das Mandalorian so gut funktioniert liegt daran, das es a) sehr einfach gehalten/gestrickt ist
und es b) nur 30 min. lang ist. Einige Zungen behaupten, das es lieber länger sein sollte, aber
das ist so schon ganz gut.

Netflix hat leider auch bei einigen Serien, auch im Comic bereich, diese knapp 30 min. Vorgabe
eingeführt, was einigen Serien nicht gut tut.

Aber da wird sich noch einiges tun in der Zukunft, in diesem Bereich.

greetz



slashCAM
Administrator
Administrator
Beiträge: 11262

DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von slashCAM »


Vorsicht – wer „The Mandalorian“ derzeit auf Disney+ anschaut, dürfte dies wohl als Spoiler werten – also nicht weiterlesen. Für den Rest gilt: Derzeit kursiert auf YouTu...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?



piano_jochen
Beiträge: 15

Re: DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von piano_jochen »

Ich kann mich nicht vorstellen, dass die großen VFX-Studios nicht schon längst sowas per DeepFake machen könnten. Ich vermute eher, dass es rechtlich sehr wackeliges Terrain ist, wenn alte Aufnahmen der Darsteller plötzlich durch Dritte verändert werden, um dadurch neuen kommerziellen Nutzen zu erschließen, der im ursprünglichen Nutzungsvertrag nicht geregelt war.



Darth Schneider
Beiträge: 19102

Re: DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von Darth Schneider »

Ich bin nicht wirklich dieser Meinung. wirklich realistisch ist gar nix.
Also ich finde eigentlich beide Versionen sehen zwar ziemlich gut aus.
Aber echt, nach einem wirklich echtem Menschen sehen beide Versionen nicht aus, eher nach hochwertigen Puppen/Action Figuren.
Und wenn ich eine Version besser finde, dann ist es eindeutig die Version von ILM.

Was mir vor allem bei Luke von Deep Fake sofort ins Auge sticht, sind die beiden runden Lampen die sich in seinen Pupillen spiegeln. Das lässt seine Augen glänzen und ihn unter Umständen etwas realer wirken...
Es gibt aber leider in solchen Raumschiff Cockpits eigentlich gar keine runden Spots die irgend wo herum stehen.
In der Szene ist es eher ziemlich dunkel ;)
Also sind Lukes Augen von Deep Fake nicht realistischer, sondern die dunklen Augen ohne Reflexion vom Scheinwerfer, von ILM...Erster Punkt für ILM.

Das zweite was auffällt, das Gesicht von ILM finde ich ist grundsätzlich sorgfältiger modelliert. Die Haut wirkt echter, es gibt auch ein wenig Schweiss/Glanz und undefinierbare kleine Flecken, ganz so wie bei einem echten Menschen, der soeben gekämpft hat.
Bei Deep Fake wirkt für mich die Haut also eher künstlich und trocken (ohne Schweiss vom Kampf) so wie bei einer Puppe. Also zweiter Punkt geht auch an ILM......
Dazu kommt noch, ILM macht ja nicht nur das Gesicht von Luke....sondern auch den ganzen Rest, die CGI und die unzähligen Effekte.
Da muss das Gesamtbild am Schluss einfach passen und es gibt zig. Produzenten und sonstige wichtige Leute, bei so einer Produktion die womöglich alle ihren Senf dazu geben wollen wie Luke auszusehen hat und nicht zwangsläufig einer Meinung sind.

Ich finde die Serie was die Effekte anbelangt auf jeden Fall absolut hervorragend gemacht. Und sonst ? Ich habe bisher keine bessere TV Serie gesehen...
Also wenn jetzt ILM den Luke noch nicht so perfekt hin kriegt ? Und jetzt ? Die anderen können es nicht besser und wenn doch ? ILM hat diese Art von Filmemachen doch eh eigentlich erfunden...
ILM und die ganze Crew hat Oscars verdient, so cool war Star Wars schon seit den Achtzigern nicht mehr.;))

Für den Spoiler wollte ich mich noch entschuldigen, war mir dessen überhaupt nicht bewusst.
Gruss Boris
Alles vor und rund herum um die Kamera ist für einen guten Film viel, viel wichtiger als die Kamera selber.



Hayos
Beiträge: 297

Re: DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von Hayos »

@Darth Schneider: der Macher des Deepfakes unter seinem Video betont, dass er auch nicht so zufrieden ist mit seiner Version. Zb. hätte es auch bessere Ergebnisse gegeben, hätte man einen echten Menschen als Vorlage habt. So musste sich der Deepfake-Algorithmus an der eh schon puppenhaften CGI Version orientieren. Das sieht man meiner Meinung nach sehr gut bei den den Mundbewegungen, die wirken bei beiden sehr artifiziell und um die Augen rum ist auch alles sehr steif.

Und dass ILM ansonsten einen guten Job macht bestreit ja keiner :) Umso mehr fällt eben dieser Qualitätsabfall auf.

P.S. Aber nicht allen: meine Eltern haben nichts bemerkt - die kennen aber auch die Originalfigur nicht (haben nie Star Wars gesehen - ja sowas gibts ;)
Zuletzt geändert von Hayos am Do 31 Dez, 2020 17:33, insgesamt 1-mal geändert.



Funless
Beiträge: 5484

Re: DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von Funless »

ILM hin oder her, man darf allerdings auch nicht vergessen, dass es letztendlich eine Budgetfrage ist.

Die oben gezeigte qualitativ sichtbar bessere CGI face replacement VFX Sequenz in Terminator: Dark Fate wird mit Sicherheit ein weitaus höheres Budget zur Verfügung gehabt haben, als es in der Mandalorian Episode der Fall gewesen ist und das sieht man dann eben auch am Ergebnis. „You get what you pay for.“
Funless has spoken!

No Cenobites were harmed during filming.



carstenkurz
Beiträge: 5079

Re: DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von carstenkurz »

piano_jochen hat geschrieben: Mi 30 Dez, 2020 22:27 Ich kann mich nicht vorstellen, dass die großen VFX-Studios nicht schon längst sowas per DeepFake machen könnten. Ich vermute eher, dass es rechtlich sehr wackeliges Terrain ist, wenn alte Aufnahmen der Darsteller plötzlich durch Dritte verändert werden, um dadurch neuen kommerziellen Nutzen zu erschließen, der im ursprünglichen Nutzungsvertrag nicht geregelt war.
Und das Terrain ist bei CGI+ face replacement weniger wacklig? Natürlich haben die Produktionen Verträge mit den Darstellern, die das erlauben, egal welche Methode da verwendet wird. Und man darf schon glauben, dass die Darsteller daran auch verdienen.
Wenn die Deepfake-Tools bisher keine hohen Auflösungen unterstützen, dann erübrigt sich doch auch jede Diskussion darüber, warum man das bei einer 1080p oder 4k Produktion nicht einsetzt. Es geht schlicht nicht. Ansonsten werden die Ergebnisse mutmaßlich für ein enges Produktionszeitfenster auch gegenwärtig noch zu unvorhersehbar sein, während man bei klassischen Methoden mehr Einfluss auf Detailaspekte hat. Allerdings könnte es wie im Aufmachervideo in Zukunft eine Option sein, einen Mix aus klassischer CGI und DeepFake einzusetzen, um mit letzterer das finale Quentchen Realismus oder Authentizität rein zu kriegen.
and now for something completely different...



macaw
Beiträge: 1157

Re: DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von macaw »

Ich denke (als jemand, dessen Arbeitsbereich dauernd Gesichtsretuschen beinhaltet), daß deepfake aus diversen Gründen noch nicht in Posthäusern zu finden sind.

1. Die Auflösung. Deepfake kann derzeit maximal 1024 Pixel x 1024 Pixel generieren und das auch nur in einer Software, die nicht allgemein erhältlich ist. 512 Pixel sind in frei zugänglicher Software maximal möglich. Close-ups fallen durch eine solche Beschränkung von vornherein erstmal weg, was im Grunde schon ein k.o. Kriterium ist.

2. Kontrollierbarkeit. Durch die Natur des Prozesses vorgegeben, lässt sich das Ergebnis nicht Pixel für Pixel kontrollieren und damit nicht Art dirigieren. Auch wenn die klassischen Techniken manchmal schrecklich aussehen (wie Peter Cushing, Carrie Fisher in Rogue oder Will Smith in Gemini Man) so ist der Prozess zumindest in jeder Stufe bis ins kleinste kontrollierbar, während man bei deepfake eine Blackbox hat, bei der man (momentan) mehr oder weniger nur abwarten kann was dabei rauskommt.



markusG
Beiträge: 4394

Re: DeepFake Hack bei „The Mandalorian“ realistischer als CGI von Industrial Light & Magic?

Beitrag von markusG »

Youtuber bekommt für Deep Fakes Job bei Lucasfilm
https://www.golem.de/news/star-wars-you ... 58502.html



 Aktuelle Beiträge [alle Foren]
 
» Neues SIGMA 50mm F1,2 DG DN | Art Objektiv wiegt 745g
von iasi - Do 14:15
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von Frank Glencairn - Do 13:51
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Do 13:49
» -SONY FX- Erfahrungsaustausch
von rush - Do 13:40
» [gelöst] 3.5mm Klinkenstecker Überwurfmutter
von Clemens Schiesko - Do 13:38
» AOC bringt 44.5" OLED-Riesenmonitor mit 98.5% DCI-P3
von MK - Do 12:07
» Adobe führt die neue Funktion "Structure Reference" in Firefly ein
von slashCAM - Do 10:54
» Sondergagen - Wer aufmuckt, wird nicht mehr besetzt
von stip - Do 9:49
» Was schaust Du gerade?
von Frank Glencairn - Do 9:00
» Nikon stellt NIKKOR Z 28-400mm f/4-8 VR Superzoom-Objektiv vor
von rush - Do 8:51
» Exhuma - die Südkoreaner können erfolgreiche Filme drehen
von -paleface- - Do 8:46
» Blackmagic Camera 8.6 Public Beta
von -paleface- - Do 8:44
» FCPX/Motion, DaVinci/Fusion... Tipps&Tricks
von Frank Glencairn - Do 4:00
» Was hörst Du gerade?
von roki100 - Do 0:22
» Sony A9 III im Praxistest - ein echter Überraschungscoup auch für Filmer
von Mantas - Mi 23:27
» Video Pro X stürzt beim Multi Cam Schnitt ab
von MisterX - Mi 21:47
» Uwe Boll: Wie man Filme produziert ohne pleite zu gehen!
von iasi - Mi 19:53
» 4 Gründe hartes Licht zu nutzen
von Frank Glencairn - Mi 19:19
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Darth Schneider - Mi 18:58
» Verschachtelte Timeline im richtigen Seitenformat
von Clemens Schiesko - Mi 18:43
» Untertitel in FCPX bei vorhandener Textdatei?
von R S K - Mi 18:34
» Deckenlicht mobil abschatten
von Frank Glencairn - Mi 17:31
» LUTs für Canon R6 Mark II
von TomStg - Mi 12:24
» RED versucht User nach Übernahme durch Nikon zu beruhigen
von dienstag_01 - Mi 11:52
» Entfesseltes Storytelling mit der Video-KI Sora?
von Frank Glencairn - Mi 5:54
» Slashcam 2001 - Das Internet vergisst nichts!
von macaw - Di 21:37
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von Frank Glencairn - Di 18:54
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von iasi - Di 13:32
» 3 Body Problem - so verfilmt man heute Bücher
von stip - Di 8:30
» Neue Sora Version
von Frank Glencairn - Di 7:54
» IDEENFINDUNG: Wie man spannende Filme entwickelt! mit Vi-Dan Tran (Actiondesigner DUNE)
von berlin123 - Di 6:47
» Kafka Serie
von rabe131 - Mo 23:09
» HDV Aufnahme wird nicht erkannt
von MisterX - Mo 20:49
» OpenAI Sora - das ist der KI-Video Gamechanger!
von Frank Glencairn - Mo 19:22
» Venice 2 Bildqualität zum halben Preis? Sony Burano Sensortest
von iasi - Mo 18:21