slashCam Leser wissen es schon lange: Das analoge Filmkorn aus dem letzten Jahrhundert trägt immer noch maßgeblich zu einer cineastischen Anmutung bei. Offensichtlich sind unsere Gehirne immer noch so stark auf das subtile Tanzen der Filmkörnung in einem Bild geprägt, dass wir beim Betrachten automatisch "Kino" denken und fühlen.
Tatsächlich wirkt ein besonders rausch- und filmkornfreies Bild auf viele Betrachter steril und billig, obwohl ein extrem sauberes Bild technisch viel aufwändiger zu erreichen ist, als eine verrauschtes Bild.
Noise und Grain - Details für den Kompressor
Doch nicht nur das: Rauschen und Grain (wie man Filmkorn im englischsprachigen Raum oft bezeichnet) sind der Feind jeder effizienten Kompression. Denn für einen Algorithmus sind die zufällig im Film verteilten Rausch- und Korn-Muster nicht vorhersagbar. Und somit auch nicht effektiv nach einem Muster zu komprimieren.
Solange der Kompressor jedoch denkt, dass es sich bei dem Rauschen um relevante Bildinformationen handelt, muss er sehr viel Speicherplatz aufwenden, um die Rauschmuster wie echte Details im Videostream zu speichern. Die eingesetzten Komprimierungsalgorithmen zwingen somit zu einer Abwägung zwischen dem Erhalt der Filmkörnung und einer deutlichen Reduzierung der Dateigröße.
Weniger Rauschen - weniger Kosten
Den zusätzlichen Speicheraufwand "pro Grain" wollten die großen Streaming-Anbieter jedoch früher nicht ernsthaft auf sich nehmen. Um Speicher und Datenübertragungskosten zu sparen, entrauschten Netflix und Co. darum viele Filme erst einmal (zu?) radikal. Dadurch wurden viele Filmklassiker zwar objektiv gemessen in der Qualität sogar besser, subjektiv fehlte ohne Korn jedoch sehr oft der cinematische Charme.
Dies führte im Anschluss sogar bei modernen Produktionen zu einer besonderen Absurdität: Im digitalen Zeitalter lassen sich bekannterweise mit aktuellen Cine-Kameras ziemlich rauschfreie, geradezu klinisch saubere Bilder erzeugen, denen es vielen Filmemachern an Charakter fehlt. Darum wird auch bei modernen Produktionen in der Nachbearbeitung noch absichtlich digitales Filmkorn hinzugefügt, um eine bestimmte Stimmung oder ein Vintage-Gefühl in der Aufnahme zu transportieren. Doch eben dieses synthetische Korn wurde anschließend bei der digitalen Distribution wieder herausgefiltert, um Datenübertragungskosten zu sparen. Und die Zuschauer bekamen dadurch letztlich viel zu rauschfreie Bilder in ihre Wohnzimmer gestreamt, die nicht mehr unbedingt im ästhetischen Sinne der Filmproduktion waren.
Dieser Problematik wurden sich die Streamer dann doch relativ schnell bewusst, weshalb man die radikale Noise Reduction etwas zurückfuhr und man vielen Produktionen über die Zeit wieder etwas mehr Grain gönnte. Gezwungenermaßen zu Lasten der Datenrate.
Film Grain Synthesis (FGS)
Dies sollte sich jedoch eigentlich mit der Einführung des AV1-Codecs im Jahr 2021 gravierend ändern, denn für das Grain-Problem wurde schon vor einigen Jahren die sogenannte Film Grain Synthesis (FGS) integriert. Hierbei handelt es sich um eine auf den ersten Blick recht primitive und zugleich schlüssige Idee, die jedoch in der Umsetzung trotzdem ihre Tücken hat. Die Idee hinter der Film Grain Synthesis funktioniert einfach erklärt in folgenden Schritten:
- Vor der Kompression wird der Master nach bestem Stand der Technik entrauscht und als Distributions-Kopie gespeichert.
- Dabei erstellt man zugleich einen zweiten Stream, in welchem man unkomprimiert die "Differenz" zwischen dem Master und der entrauschten Distributions-Kopie speichert. Dieser Stream beinhaltet quasi nur noch das unkomprimierte Rauschen des Films (sowie alles andere, was bei der Kompression sonst noch verloren gegangen ist).
- Anschließend versucht man die Parameter eines autoregressiven Noise Modells so anzupassen, dass dieses Modell möglichst genau das Rauschen des zweiten Streams simuliert. Der Vorteil ist hierbei, dass man anschließend nur noch die Parameter des Rauschmodells speichern muss, die ein paar zusätzlichen Bytes im Stream entsprechen.
- Bei der Wiedergabe wird mit diesem Autoregressive Noise Modell dann vom Player mit den gefundenen Parametern eine Grain-Pattern "live" erzeugt und auf den stark komprimierten Distributions-Stream vor der Wiedergabe hinzugefügt.
- Das Ergebnis soll eine Wiedergabe mit "ziemlich ähnlichem" Rauschen ermöglichen, die ein Großteil der Nutzer nicht mehr vom Original-Rauschen unterscheiden kann.
Was bringt es?
Hier ein vergrößertes Sample aus dem Netflix-Blog zur Veranschaulichung:
Links sieht man einen "normalen" AV1-Stream mit einkomprimiertem Rauschen, in der Mitte einen AV1-FGS-Stream ohne Grain-Synthese während der Dekodierung. Und auf der rechten Seite den AV1-FGS-Stream mit Grain-Synthese.
Tatsächlich ist das synthetische Ergebnis für einen Pixel-Peeper noch deutlich zu unterscheiden, jedoch sieht es deutlich besser aus, als der völlig enttäuschte Stream in der Mitte. Uns gefällt das rechte FGS Ergebnis schon alleine deswegen besser, weil im linken Stream das Rauschen partiell trotzdem ausgebügelt wurde - was einfach schlecht aussieht, wenn nur ein Teil des Grains erhalten bleibt.
Ein guter Kompromiss trotz radikaler Dateneinsparung - sollte man folglich meinen. Allerdings mahlen die Mühlen bei Netflix und Co. scheinbar dann doch nicht so schnell. Denn bisher kam die Film Grain Synthesis eher vereinzelt zum Einsatz. Doch das soll sich im Laufe der Zeit nun ändern.
Wer sich für mehr Details interessiert, findet in diesem Netflix-Blogbeitrag das Verfahren noch einmal sehr detailliert erklärt.
