Film Grain Synthesis (FGS)
Dies sollte sich jedoch eigentlich mit der Einführung des AV1-Codecs im Jahr 2021 gravierend ändern, denn für das Grain-Problem wurde schon vor einigen Jahren die sogenannte Film Grain Synthesis (FGS) integriert. Hierbei handelt es sich um eine auf den ersten Blick recht primitive und zugleich schlüssige Idee, die jedoch in der Umsetzung trotzdem ihre Tücken hat. Die Idee hinter der Film Grain Synthesis funktioniert einfach erklärt in folgenden Schritten:
- Vor der Kompression wird der Master nach bestem Stand der Technik entrauscht und als Distributions-Kopie gespeichert.
- Dabei erstellt man zugleich einen zweiten Stream, in welchem man unkomprimiert die "Differenz" zwischen dem Master und der entrauschten Distributions-Kopie speichert. Dieser Stream beinhaltet quasi nur noch das unkomprimierte Rauschen des Films (sowie alles andere, was bei der Kompression sonst noch verloren gegangen ist).
- Anschließend versucht man die Parameter eines autoregressiven Noise Modells so anzupassen, dass dieses Modell möglichst genau das Rauschen des zweiten Streams simuliert. Der Vorteil ist hierbei, dass man anschließend nur noch die Parameter des Rauschmodells speichern muss, die ein paar zusätzlichen Bytes im Stream entsprechen.
- Bei der Wiedergabe wird mit diesem Autoregressive Noise Modell dann vom Player mit den gefundenen Parametern eine Grain-Pattern "live" erzeugt und auf den stark komprimierten Distributions-Stream vor der Wiedergabe hinzugefügt.
- Das Ergebnis soll eine Wiedergabe mit "ziemlich ähnlichem" Rauschen ermöglichen, die ein Großteil der Nutzer nicht mehr vom Original-Rauschen unterscheiden kann.
Was bringt es?
Hier ein vergrößertes Sample aus dem Netflix-Blog zur Veranschaulichung:
Links sieht man einen "normalen" AV1-Stream mit einkomprimiertem Rauschen, in der Mitte einen AV1-FGS-Stream ohne Grain-Synthese während der Dekodierung. Und auf der rechten Seite den AV1-FGS-Stream mit Grain-Synthese.
Tatsächlich ist das synthetische Ergebnis für einen Pixel-Peeper noch deutlich zu unterscheiden, jedoch sieht es deutlich besser aus, als der völlig enttäuschte Stream in der Mitte. Uns gefällt das rechte FGS Ergebnis schon alleine deswegen besser, weil im linken Stream das Rauschen partiell trotzdem ausgebügelt wurde - was einfach schlecht aussieht, wenn nur ein Teil des Grains erhalten bleibt.
Ein guter Kompromiss trotz radikaler Dateneinsparung - sollte man folglich meinen. Allerdings mahlen die Mühlen bei Netflix und Co. scheinbar dann doch nicht so schnell. Denn bisher kam die Film Grain Synthesis eher vereinzelt zum Einsatz. Doch das soll sich im Laufe der Zeit nun ändern.
Wer sich für mehr Details interessiert, findet in diesem Netflix-Blogbeitrag das Verfahren noch einmal sehr detailliert erklärt.
