Netflix - besseres Keying mit Magenta-Greenscreen?

Ein Forschungsteam von Netflix hat in einem Arxiv-Paper ein neues Greenscreen Verfahren vorgestellt, das mit herkömmlichen Kameras bessere Ergebnisse erzielen soll, als klassische Chroma Keying Methoden.

Die Magenta GreenScreen (MGS)-Technik, erfordert im Gegensatz zu herkömmlichen Keying Verfahren allerdings eine spezielle Beleuchtung. Der Hintergrund wird dabei weiterhin durch hellgrüne LEDs ausgeleuchtet. Die Objekte Im Vordergrund werden jedoch zusätzlich mit roten und blauen LEDs angeleuchtet, was in einem magentafarbenen Schimmer resultiert.

Der verlinkte Heise Artikel erklärt dazu eher schwammig, dass die DIfferenz Signale letztlich durch den Gegensatz mit speziellen KI-Tools besser gekeyed werden können. Das Paper geht jedoch noch deutlich weiter und spricht von einer stroboskopartigen Beleuchtung mit 144 Hz bei 24 fps Aufzeichnung. Bei dieser werden Vorder- und Hintergrund mit hoher Frequenz farblich ausgetauscht. (Spectrally Multiplexed Alpha Matting).

Dadurch können bei schnellen Bewegungen wiederum Fringing-Effekte entstehen. Nach unserer Meinung müsste ein solches Setup auch noch zuverlässig mit dem Shutter der Kamera gesynct werden, aber über dieses eventuelle Setup-Problem fanden wir nichts im Paper. Auf jeden Fall muss die Magenta-Überlagerung ebenfalls noch in der Post aus dem Bild herausgerechnet werden.

In unseren Augen wirkt das ganze ziemlich aufwändig, um einen sauberen Alpha Kanal zu erzeugen, aber wer weiß? Vielleicht entschädigt das Ergebnis für den Aufwand. Wenn allerdings sowieso spezielle KI-Tools in der Post zum Einsatz kommen, fragt man sich schon, ob diese nicht auch bei klassischer Ausleuchtung mittlerweile zu ebenso guten Ergebnissen gelangen könnten. Schließlich gab es auch hier in den letzten Monaten enorme Fortschritte beim KI-Keying.