Die Schwierigkeiten der virtuellen Filmproduktion

[slashCAM]

Die "virtuelle Filmproduktion" ist immer häufiger Thema -- bei der im Star Wars Universum spielenden SF/Western-Serie "The Mandalorian" von Disney wurde die Technik wie b...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Die Schwierigkeiten der virtuellen Filmproduktion

[Alex]

Das klingt aber nicht nach besonders großen/vielen Schwierigkeiten, jedenfalls im Verhältnis zu den Vorteilen der Methode im Gegensatz zum klassischen Greenscreen.

[pillepalle]

@ Axel T

Na ja, es erfodert eben einen recht hohen technischen Aufwand, wogegen für einen Greenscreen nur etwas grüne Farbe nötig ist :) Also nicht nur die 4 großen Monitorwände, sondern auch extrem leistungsfähige Rechner (mit etlichen Grafikkarten zusammen geschaltet) damit der virtuelle Hintergrund auch in Echtzeit abgespielt werden kann. Also eigentlich nur eine Lösung die ein größeres Studio mit entsprechendem finanziellen Einsatz umsetzen kann, wogegen der Greenscreen mehr oder weniger Überall und von jedem umgesetzt werden kann.

VG

[Alex]

Man kann den Aufwand oder die Probleme natürlich in verschiedene Bereiche aufteilen:
- finanzieller Aufwand
- technischer Aufwand im Studio (Abstimmung)
- Aufwand in der Post (Compositing)
und wird zu unterschiedlichen Antworten kommen nehme ich an.

Die Schwierigkeiten, die im Artikel genannt wurde beziehen sich eigentlich auf die Post bzw. auf was man beim Dreh achten muss, was aber nicht so schwer klingt.

[pillepalle]

@ Axel T

Was heißt nicht schwer :) Du musst nicht nur jede Kamerabewegung 1:1 wiederholen können, sondern auch noch die jeweiligen Hintergrunde zu den passenden Kamerabewegungen erst einmal berechnen. Das dauert entsprechend. Man ist also relativ langsam.

VG

[Alex]

Du musst nicht nur jede Kamerabewegung 1:1 wiederholen können

Verstehe ich nicht, ich kann doch eine ganz normale Kamerabewegung machen?

Und die Einfachheit in der Post, damit meine ich eher die Anpassungen des Hintergrundes und des Lichtes. Beides ist quasi WYSIWYG am Set. Also ich sehe durch die Kamera schon den Hintergrund mit der passenden Beleuchtung. Und eben die Beleuchtung ist halt stimming weil sie z.T. vom Hintergrund kommt, wie halt auch im echten Leben. Und das macht die Post und den Dreh halt auch wieder einfacher, weil das Ergebnis realistischer als Green ist.
Klar ist da sicher ein großer technischer Aufwand dahinter, aber ich glaube fest der Dreh ist einfacher und der Aufwand in der Post das finale Bild zu gestalten auch. Klar mag ich mich täuschen, Greenscreen habe ich schon gemacht, LED allerdings noch nie. Aber viele Vorteile von LED-Hintergründen liegen auf der Hand und damit wird es auch einfacher ein stimmiges Bild abzugeben.

[pillepalle]

Wenn Du die Kamera bewegst, dann muss sich der Hintergrund dazu perspektivisch richtig verändern. Das geht nur indem man die Kamera vorab bewegt (die ist mit einem Sensor bestückt) und die Software dann berechnen kann, wie sich der Hintergrund relativ dazu verändert. Das funktioniert z.B. bei einem Videospiel mit relativ geringer Auflösung und Detailstufe noch in Echtzeit, aber nicht mehr mit vier hochauflösenden Riesendisplays gleichzeitig. Daher muss man erst einmal die Kamerabewegung machen, den Hintergrund berechnen, und dann nochmal die gleiche Bewegung mit Hintergrund machen um alles gemeinsam aufzunehmen.

VG

[Alex]

Ja, das weiß ich und dachte das geht bei der UE in großen Teilen Realtime:

Eine zentrale Rolle spielt die Unreal Engine von Epic Games, eine Grafik-Engine samt dazugehörigen Tools, die ursprünglich zum Erschaffen und Darstellen von künstlichen Welten in Computerspielen entwickelt wurde. Der Realistätsgrad ist mit der aktuellen Version so hoch, dass sie viele Szenen realistisch in Echtzeit darstellen kann und so die Grundlage für die virtuelle Filmproduktion liefert.

Und selbst wenn nicht in Echtzeit, Renderzeiten hast du bei komplett virtuellem Hintergrund immer, egal ob LED oder Grün. Aber auch das ist nicht das was ich mit einfach meine. Ich meine die Einfachheit ein recht realistisches Bild eigentlich schon OOC beim Dreh zu erreichen, ohne viel Post. Das ist bei Grün aufwändiger.

Aber warum man die Kamerabewegung 1:1 wiederholen können muss verstehe ich trotzdem nicht.

[pillepalle]

Schau mal hier im dem Video, da siehst Du wie das gemacht wird. Relativ am Anfang erzählen sie davon, wie die Perspektiven vorab am Set gerendert werden. Würdest Du die Kamera in eine andere Position bringen als vorher berechnet, dann würde Dir die passende Perspektive für den Hintergrund dazu fehlen.



VG

[Alex]

Du, ich kenne die Videos und die Thematik, auch wenn ich kein Fachmann für UE bin. Ist ja auch okay wann man "im Vorfeld" gerendert haben muss. Ich dachte ich hätte mich zumindest im letzten Post klar ausgedrückt was ich mit "einfach" meine. Viel anders kann ich es nicht erklären,...
Jedenfalls bin ich mir sicher der Dreh und die Post ist einfacher, auch wenn die Vorbereitung (ggf. viel) aufwändiger als vor Grün ist, wobei da auch einiges im Vorfeld zu tun ist, damit es ein realistisches Compositing wird.

[pillepalle]

Naturlich ist das in der Post einfacher, weil man nur noch ein paar Übergänge korrigieren muss. In erster Linie macht man das ja auch um direkt am Set schon das, mehr oder weniger, fertige Ergebnis zu sehen. Auch für Schauspieler ist es sicher einfacher, weil sie das Ambiente direkt sehen. Es ist eben nur noch nicht besonders einfach zu realisieren. Und die 'Probleme' die darüberhinaus noch auftreten können, wie die im Slashcam Artikel genannten, kommen dann eben noch dazu.

Deshalb fand ich das die Vorteile (einen Eindruck bereits am Set zu bekommen), verglichen mit den Nachteilen (ziemlich aufwendig) auch nicht so gering.

VG

[toxitobi]

@pillepalle
Eigentlich sollte kein Prerender notwenndig sein. Die Kamera wird in Echtzeit getrackt und das Bild in Echtzeit gerendert. Die Kamera ist frei und kann machen was sie will. Die selbe Technik wie im Comuterspiel wenn man eine VR Brille trägt, nur das der Monitor hinter der Szenerie fest steht und nicht mitbewegt wird.
Das Video erklärt es ganz gut:

Zum Thema Delay:
Hier ist eine Website https://xinreality.com/wiki/Latency die sagt 20ms bis runter zu 7ms für ein realistisches Gefühl mit VR Brillen. Ich denke in der Richtung wollen und werden E-Sportler zocken, was sicher auch mit der Unreal Engine möglich ist. Bei 24fps, 1 frame ist ungefähr 40ms, heißt mit 8 Frames Delay bei Mandalorian hatten die ein Delay von 320ms? Da scheint mir technisch etwas noch nicht ausgereift zu sein, bzw. ist dies wahrscheinlich mehr eine Momentaufnahme und wird sicher auf die Dauer ausgebügelt werden.

Das Video von oben zeigt auch eine frei bewegte Kamera und das sieht nicht nach deutlich weniger als 8 Frames Delay aus.

Grüße Tobias

[pillepalle]

@ toxitobi

Klar, aber das scheint mit vier großen Videowänden gleichzeitig eben noch nicht wirklich in Echtzeit zu funktionieren. Bei einer VR-Brille, oder in einem Videospiel habe ich viel geringere Auflösungen und bespiele nicht mehrere Bildschirme gleichzeitig. Da hätte man dann ggf. einen ruckeligen Hintergrund.

VG

[toxitobi]

Das kommt drauf an wie man spielt:

Und die Frage ist auch wie viele Pixel man für einen unscharfen Hintergrund wirklich braucht. Eventuell muss man für den schnellen Schwenk die Blende ein bisschen mehr öffnen und das ganze mit geringer Auflösung aber besserer Latenz filmen, die Bewegungsunschärfe hilfe da noch zusätzlich.

[Frank Glencairn]

Na ja, es erfodert eben einen recht hohen technischen Aufwand, wogegen für einen Greenscreen nur etwas grüne Farbe nötig ist :) Also nicht nur die 4 großen Monitorwände, sondern auch extrem leistungsfähige Rechner (mit etlichen Grafikkarten zusammen geschaltet) damit der virtuelle Hintergrund auch in Echtzeit abgespielt werden kann. Also eigentlich nur eine Lösung die ein größeres Studio mit entsprechendem finanziellen Einsatz umsetzen kann, wogegen der Greenscreen mehr oder weniger Überall und von jedem umgesetzt werden kann.

Wobei wir hier gerade so einen Zwischenweg gehen, also 3D getrackte Kamera, inkl. Zoom und Schärfe, Hintergründe in Echtzeit aus Unreal, und Echtzeit Greenscreen Keying. Nicht so cool wie mit nem 12 Meter Fernseher dahinter, aber für den Anfang...

[srone]

das ganze als vorschau oder schon final so aufgezeichnet?

lg

srone

[Alex]

Wobei wir hier gerade so einen Zwischenweg gehen, also 3D getrackte Kamera, inkl. Zoom und Schärfe, Hintergründe in Echtzeit aus Unreal, und Echtzeit Greenscreen Keying. Nicht so cool wie mit nem 12 Meter Fernseher dahinter, aber für den Anfang...

Wie macht ihr das Tracking? Wir denken für ein Projekt auch gerade über einen technischenLösungsweg nach.

[pillepalle]

@ Frank

Ja, das macht Matt von Cinematography Database auch bei sich zuhause... noch nicht richtig perfekt, aber besser als der virtuelle Schnurrbart bei einer Zoom Konferenz :)



VG

[Frank Glencairn]

das ganze als vorschau oder schon final so aufgezeichnet?

Geht beides, aber ja nachdem wie komplex und Anspruchsvoll die 3D Szene ist, langt eine 3090er nicht mehr, da müßte dann wohl ne zweite rein.

[Frank Glencairn]

Wie macht ihr das Tracking? Wir denken für ein Projekt auch gerade über einen technischenLösungsweg nach.

Im Prinzip genau wie in dem Clip, den Pille eben gepostet hat, consumer VR Equipment stumpf mit Gaffa an die Kamera geklebt - für den Moment wenigstens, später gibts ne weniger rustikale Lösung :D

[Alex]

Im Prinzip genau wie in dem Clip, den Pille eben gepostet hat, consumer VR Equipment stumpf mit Gaffa an die Kamera geklebt - für den Moment wenigstens, später gibts ne weniger rustikale Lösung :D

Sehr geil :)
Position/Rotation verstehe ich, aber wie Focus und Zoom?

[Darth Schneider]

Ich denke klassisches Compositing, wird deswegen nicht verschwinden, auch nicht Green Screen.
Erstens, weil ja die 3D Hintergründe zu erstellen ist, je nach dem teurer und zeitaufwendiger als ein echtes Set zu bauen.
Die Technik die es für dafür braucht steckt noch in den Kinderschuhen und ist sehr teuer, zu sehen da oben.
Dazu kommt, es gibt nicht wenige Regisseure die bevorzugen auch heute noch möglichst viel in Kamera Effekte, Modelle, Sets und Props zum anfassen und echte Explosionen, und bei Szenen die draussen spielen, auch draussen und nicht drinnen im Studio zu drehen.;)
Und gerade draussen dürfte das mit all der Technik die es für das virtuelle Set braucht viel zu unflexibel sein, denke ich. Das geht doch viel, viel einfacher dann doch mit einer ganz simplen Green Screen. Die lässt sich auch ganz einfach in die reale Welt wo und wie man auch immer will, integrieren und ganz schnell umbauen zwischen dem drehen.
Gruss Boris

[roki100]

Erstens, weil ja die 3D Hintergründe zu erstellen ist, je nach dem teurer und zeitaufwendiger als ein echtes Set zu bauen.

Ich denke es ist eher umgekehrt. Denn es gibt für alles mögliche 3D Objekte, Materialien usw. Selbst erstellen, das ist natürlich aufwendiger, ich denke, immer noch leichter als echtes Set.... Außerdem hat man mehr Möglichkeiten.

UE4 wird meiner Meinung da sehr viel verändern. Es ist jetzt schon verrückt was da so alles möglich ist.

Dazu kommt, es gibt nicht wenige Regisseure die bevorzugen auch heute noch möglichst viel in Kamera Effekte, Modelle, Sets und Props zum anfassen und echte Explosionen, und bei Szenen die draussen spielen, auch draussen und nicht drinnen im Studio zu drehen.;)

Das ist altmodisch. :) Es gibt heute schon sehr realistische Explosionen.... ;)

[Frank Glencairn]

Sehr geil :)
Position/Rotation verstehe ich, aber wie Focus und Zoom?

Ich bin da nicht ganz so tief drin, wie unser Unreal Mann, der das alles managed, aber so wie ich es verstanden habe, wird das quasi "rückwärts" gelöst. Statt die Stellung der Focus/Zoom Motoren permanent abzufragen, hat er ein PlugIn geschrieben, daß die Motoren steuert, und damit immer weiß, wo die gerade stehen. In dem Bereich gibt's aber noch jede Menge Kompatibilitäts-Probleme, und die Kalibrierung ist auch nicht ohne. Aktuell ist das eher noch experimentell, und wir arbeiten wir noch daran, weil das noch nicht so richtig befriedigend ist. Ich denke in ein Paar Monaten flutscht das aber, da sind wegen der aktuellen Lage auch noch jede Menge anderer Entwickler dran.

[Frank Glencairn]

Apropos Greenscreen, wir überlegen gerade auf Bluescreen umzusteigen, weil für die meisten Szenen das Bluespill und Bluecast viel natürlicher wirkt. Und das Keying mit Blau nicht mehr soooo problematisch ist, wie es mal war.

[Darth Schneider]

@roki
Explosionen in 3D, das ging vor 30 Jahren schon, ich weiss.
Denis Villeneuve, Ridley Scott, Spielberg, Lucas, Cameron, Bay, nur um einige wenige grosse Filmemacher zu nennen, die auch heute noch viele Dinge die man schon lange problemlos mit CGI umsetzen könnte, in ihren Filmen aber trotzdem mit zum Teil sogar riesigen Modellen, echten Sets und echten Car Crashes und Props, mit aufwendigen Masken für die Schauspieler, und mit richtigen Explosionen und Feuer arbeiten und umsetzen.;))
Das wird auch so bleiben, solche Filmemacher die möglichst authentisch und echt arbeiten wollen wird es immer geben, da wird auch das beste CGI nix daran ändern.
Gruss Boris

[pillepalle]

Eine gute Diskussion zu dem Mixed Reality gab's gerade auf dem Youtube Kanal von Arri, am Beispiel von Mercedes Kampagnen. Weil auch auf die Herausforderungen dieser Produktionen eingegangen wurde. Dort ging es unter anderem um die Wichtigkeit das sich die Videowand auch über die Decke zieht, ob bzw wann man der Boden austauscht, wann Unreal Engine Hintergründe und real gefilmte Hintergründe besser sind usw. Im zweiten Teil, In einem späterem Clip dann noch mehr um die Produktionstechnik (im Wesentlichen von Arri), unter anderem den Arri Stabilized Remote Head SRH-3, aber auch um andere Produkte wie den fernsteuerbaren Agito Dolly von Motion Impossible.



:)



VG

[Frank Glencairn]

.. ob bzw wann man der Boden austauscht,

Ja der Boden und damit der Übergang zur CGI Welt sind wirklich ein Problem.

P.S. - Der Kamera Dolly ist ja drollig, wär genau meine Kragenweite :-)

[TheBubble]

Greenscreens/Bluescreens haben meiner Ansicht nach im Vergleich ein paar Nachteile:

- Die auszutauschende Farbe darf sonst nicht vorkommen.
- Natürliche Reflexionen der Umgebung (Spiegel, Metall, Augen, usw.) gibt es nicht, denn es ist ja alles einfarbig. Einen Ersatz für Reflexionen kann man daher nur in der Post hinzufügen.
- Die Beleuchtung ist bei drastischen Hintergrundänderungen aufwendiger.
- Man braucht gute Schauspieler, denn das überzeugende Spielen in einfarbigen Räumen ist anspruchsvoller.
- Die Beleuchtung ist auch bei recht statischen Hintergründen arbeitsintensiver, vor allem von Haaren und anderen schwieriger zu keyenden Details.

Ich vermute daher schon, dass sich die Technik durchsetzt. Vielleicht nicht überall, es ist ja auch teuer, aber bestimmt als Ergänzung.

[pillepalle]

Ganz interessant was er über seine ersten Erfahrungen bei einem virtuellen Kurzfilm gemacht hat.



VG

[Alex]

Ja der Boden und damit der Übergang zur CGI Welt sind wirklich ein Problem.

https://www.reddit.com/r/blackmagicfuck ... isnt_real/