RAW, ProRES oder H.264/HEVC - Welcher Codec bei der Aufnahme?

[slashCAM]

<img src="https://www.slashcam.de/images/texte/15 ... -FRONT.jpg" align=left valign=top border=0 width=130 height=98>Zwischen RAW und H.264-Aufzeichnung gibt es zahlreiche Varianten, die man als Filmemacher zumindest grob kennen sollte. Wir versuchen uns an einer einfachen Einordnung...



Hier geht es zu Artikel auf den slashCAM Magazin-Seiten:
Grundlagen: RAW, ProRES oder H.264/HEVC - Welcher Codec bei der Aufnahme?

[mash_gh4]

das ist natürlich wieder in nette einführende übersicht, die manchen von uns sicher uaf die sprünge hilft. trotzdem hätte ich ein paar anmerkungen, die man vielleicht am rande nicht ganz unerwähnt belieben sollten, wenn man dem thema gerecht werden will.

vergleich RAW vs. konventionelle formate

ich halte es für ziemlich problematisch, die tatsächlichen vorteile und nachbeearbeitungsspielräume der RAW datenaufzeichnung nicht deutlich genug heruaszuarbeiten bzw. sie einfach nur pragmatischen vergleichen unterzuordnen. es gibt einige bildaufbereitungsoperationen, die sich einfach nur an hand dieser rohdaten vor dem debayering vernünftig korrigieren od. optimal handhaben lassen und in späteren schritten der verarbeitung einfach nicht zugänglich sind. highlight recovery bzw. color reconstructiuon -- also die möglichst befriedigende handhabung von überbelichtet bereichen, in denen ein od. zwei farblkanäle bereits clippen --, wäre so ein beispiel. es ist allerdings gleichzeitig auch ganz gutes besispiel dafür, wie unbefriedigend derartiges in den gegenwärtigen video-RAW-verarbeitungsprogrammen gehandhabt wird, wenn man es mit den entsprechenden kunstgriffen der RAW-fotografie vergleicht. aber auch beim debayering und entrauschen selbst gibt es natürlich eine genaze menge verschiedene lösungen, die tlw. sehr rechenintensiv sind, und deshalb direkt in den kameras nicht in dieser qualität zur verfügung stehen, aber eben nicht mehr in gleicher weise durchführbar sind, wenn das material ein gebräuchlichere forem umgewundelt wurde.

zu den verschiedenen kompressionsmethoden

ich galube, dass es ziemlich irreführend ist, wenn viele auch heute noch prores, dnxhd u. cineform für besonders herausragende formate halten. in wahheit sind sie technologisch mittlerweile wirklich weit überholt und weitestgehend veraltet. dort wo sie im vergleich noch immer vorteilhaft wirken, ist das praktisch ausschließlich der höhreren genutzten übertragungsbandbreite bzw. filegröße zuzuschreiben.
H.264/H.265 nutzt ja ohnehin genau die selben basalen mechnaismen, nur dass die halt durch weitere techniken ergänzt und deutlich verbessert wurden. so sind die einzelnen codecs wohl besser verschiedenen generationen der weiterentwicklung zuzurdnen, die bei richtiger konfiguration und anwendung doch ziemlich einschneidende fortschritte erkennen lassen.

das ist einerseits jenen techniken zu verdanken, die bildaten auch innerhalb eines einzlenen frames hinsichtlich größerer gleichförmiger muster und farbübergängen analysieren und optimiert beschreiben (stichwort: intra-prediction), aber auch auf deutlich bessere mathematische kompressionstechniken (also: CABAC bzw. das noch effizentere Asymmetric Numeral Systems entropy coding in zukünftigen codecs) im anschluss an die eigentliche bildspezifische analyse. das sind vorzüge, die sich einfach nicht wegdiskutieren lassen. wenn man also vergleiche unter ebenbürtigen voraussetzungen anstellt, zeigen sich das auch recht klar, aber natürlich bleibt es im verborgenen, wenn man einfach nur ergebnisse vergleicht, die ihrer größe um ein vielfaches von einander differieren. nur wer hat etwas davon, wenn man solche äpfel-birnen-vergleiche anstellt?

linzenzpolitische fragen

leider kann man diese ganze debatte um vor und nachteile von codecs nicht ohne beachtung von lizenz und normierungsgesichtspunkten führen. weder macht es sinn proprietäre ansätze, die nur auf einem od. einigen systemen zur verfügung stehen als lösung zu betrachten, noch kann man über all die probleme hinwegsehen, die mit den ausufernden patent und verwertungsrechten im zusammenhang mit den marktbeherrschenden ansätzen verbunden sind. letzteres hat ja in der praxis dazu geführt, das H.265, obwohl es technisch und von der sauberen spefikation her eine wirklich vorbildliche lösung darstellen würde, noch immer ein geradezu vernachlässigbares schattendasein führt. das geht so weit, dass sich mittlerweile alle ernstaften bemühungen um andere ansätze kreisen. mit AV1 der AOMedia zeichnet sich in dieser hinsicht gegenwärtig wohl die vielversprechendste alternative ab.

aber, wie gesagt, mit dem in den titel eingflochtenen frage rund RAW vs. konventionelle video codecs hat das nicht mehr viel zu tun. hier sind die grenzen leider noch viel schärfer gezogen, weil man die angesprochenen vorzüge der rohdatenaufbereitung leider wirklich fast nur im zusammenhang mit verlustfreier aufzeichnung realisieren kann, was gänzlich andere kompressionstechniken bedingt. aber auch der kompromiss, den man evtl. zwischen beiden welten, etwa am beispiel der verschieden exotischeren scene referred ACES austauschformaten, sehen könnte, ist leider in der praxis in puncto handhabung und kompressionseffizienz ausgesprochen unbefriedigend. in meinen augen macht es nicht viel sinn, diese ganz grundsätzlichen gräben und völlig unterschiedlichen möglichkeiten in der weiterbearbeitung hinwegzudieskutieren od. sie mit oberflächlichen visuellen vergleichen zu relativieren. es sind einfach zwei vollig verschiedenen welten, die man nicht ohne weiteres gegeneinander ausspielen kann.

[dienstag_01]

Denn bei der Interframe-Kompression kann schlichtweg nicht die Redundanz zwischen den Bildern zur Kompression genutzt werden, was die Datenrate in die Höhe treibt.

Da hätte ich doch glatt vermutet, dass es *Intra* heißen muss ;)

[Frank Glencairn]

zu den verschiedenen kompressionsmethoden

ich galube, dass es ziemlich irreführend ist, wenn viele auch heute noch prores, dnxhd u. cineform für besonders herausragende formate halten. in wahheit sind sie technologisch mittlerweile wirklich weit überholt und weitestgehend veraltet. ...

H.264/H.265 nutzt ja ohnehin genau die selben basalen mechnaismen, nur dass die halt durch weitere techniken ergänzt und deutlich verbessert wurden. so sind die einzelnen codecs wohl besser verschiedenen generationen der weiterentwicklung zuzurdnen, die bei richtiger konfiguration und anwendung doch ziemlich einschneidende fortschritte erkennen lassen.

Ugh!

Nur weil ein Codec nicht vom letzten Jahr ist, heißt das noch lange nicht, er wäre "veraltet".
Was würdest du dann zu RedCode/R3d, Tiff, DPX oder openEXR sagen?
Sind die auch alle "veraltet"?

H264/65 waren nie als Aufnahme Codecs gedacht, sondern als Delivery Codecs, und genau da haben sie auch ihre Berechtigung.
Entsprechend sind sie aufgebaut - sprich möglichst wenig optischer Verlust, bei möglichst geringer Datenrate.
Weitere Bearbeitung und mehrfaches recodieren waren nicht im Focus.

Daß man trotzdem damit aufnehmen kann, liegt daran, das für den durchschnitts Hobbyfilmer, höhere Datenraten als "unzumutbar" gelten, und es bei denen sowieso nicht drauf ankommt, weil jegliche Postpro ebenfalls als viel zu aufwändig gilt (die wollen ja nur die Kiste an TV anschließen und abspielen).

... ausufernden patent und verwertungsrechten im zusammenhang mit den marktbeherrschenden ansätzen verbunden sind. letzteres hat ja in der praxis dazu geführt, das H.265, obwohl es technisch und von der sauberen spefikation her eine wirklich vorbildliche lösung darstellen würde, noch immer ein geradezu vernachlässigbares schattendasein führt. das geht so weit, dass sich mittlerweile alle ernstaften bemühungen um andere ansätze kreisen. mit AV1 der AOMedia zeichnet sich in dieser hinsicht gegenwärtig wohl die vielversprechendste alternative ab.

Überflüssig.
Das kostenlose VP9 ist im Prinzip das selbe wie H265, und man kann es jetzt schon nutzen.

Wenn es überhaupt an irgendwas scheitert ist es die Tatsache, daß es völlig überbewertet wurde.
Der Qualitätsunterschied zu H264 ist bei selber Datenrate quasi unsichtbar, gleiche Qualität bei halber Datenrate (wie versprochen) gibt's auch nicht. Für die etwa 30% tatsächliche Einsparung, reicht die Geduld, für das doppelt so lange Encoding bei den meisten nicht aus. Datenraten sind heute, bei ständig billigeren und größeren Medien sowieso nicht mehr sooo ein Zugpferd, und die Gefahr, daß es irgendjemand auf seiner alten Kiste nicht vernünftig abspielen kann, ist auch nicht hilfreich.

Nach raw, ist Cineform IMHO das nächst beste.

[rudi]

Denn bei der Interframe-Kompression kann schlichtweg nicht die Redundanz zwischen den Bildern zur Kompression genutzt werden, was die Datenrate in die Höhe treibt.

Da hätte ich doch glatt vermutet, dass es *Intra* heißen muss ;)

Richtig vermutet, und jetzt geändert...

[dosaris]

Datenraten sind heute, bei ständig billigeren und größeren Medien sowieso nicht mehr sooo ein Zugpferd,

dieses (Pseudo-)Argument kommt in der IT schon seit min 40 Jahren immer wieder mal.
Und immer schon war es unzutreffend, da es einen konstanten Kontext annimmt.
Der ist aber nie gegeben, denn es kommen fortlaufend neue Anforderungen durch neue
techn Ansätz hinzu.
Wer konnte sich z.B vor 20 Jahren vorstellen, TV via IP zu übertragen ?!
aber auch dieser hier:
B.G.: no one will ever need more than 640 KB Ram in his PC

insofern ist gute Bildqualität bei niedrigem Datenfluss (Bandbreite ist was anderes) immer eine relevante Vorgabe.

zB war HUFFYUV überhaupt nicht genannt, eine lizenzfreie, verlustfreie Video-Komprimierung.

Man muss wohl (leider) feststellen, dass nicht die techn sinnvollste Lösung zum Zuge kommt (zB VP9 vs H.265),
sondern die Produktlinie des Anbieters, der die größte Markt-Potenz hat. Kaum eine Anbieter hat Interesse,
einen offenen - womöglich kostenfreien - Ansatz in seine Produkte einzubauen.
Je größer der Marktanteil desto proprietärer die Lösungen. Das Konzept kooperativer
anstelle konkurierender Strategien ist für zu viele immer noch eine Todsünde.

[Peppermintpost]

ich bin was speichermengen angeht auf franks seite. der erste avid an dem ich gearbeitet hab der hatte als media speicher 12GB was damals unglaublich viel war. auf die kiste passte ca 3 stunden material in unterirdisch schlechter klötzchen qualität und natürlich SD. ich hab mir vor einem halben jahr ein gebrauchtes lenovo laptop gekauft, hat 400 euro gekostet, da bekomme ich in deutlich besserer qualität mehr als das 1000 fache drauf, und da ist auch nur deswegen so wenig speicher drin weil ich das NUR zum programmieren benutze, also ein paar kleine textdateien von wenigen kB generiere.
meine video workstations können das x-fache.

auch was die bandbreite angeht. wir graden in der firma 8k red footage oder arri raw in echtzeit übers netzwerk während natürlich 10 meiner kollegen auch am netzwerk rum nuckeln mit AE oder Premiere oder sonstwas. wir haben ein zweites avid eigenes netzwerk (ISIS) wo auch ständig mit 5 leuten simultan geschnitten wird.

also bandbreite oder speicherplatz sind heute wirklich so garkein probklem mehr.

meine ersten beiden workstations (macintosh power mac 9500 und sgi o2) hatten beide netzwerkkarten verbaut die genau so schnell oder langsam waren wie heute das internet.

natürlich werden in einigen bereichen die files grösser, das war immer so und wird auch immer so bleiben, aber wir haben in vielen bereichen schon grössen erreicht die sich auch nicht mehr verändern, einfach weil es keinen sinn macht. also meine txt dateien haben sich in den letzten 20 jahren nicht vergrössert, photos auch nicht, und bei video treffen wir gerade auf diese grenze, weil die anzahl der leute die noch einen signifikanten vorteil von 16k video im vergleich zu 4k sehen auch sehr begrenzt ist. meine persöhnlichen file grössen gehen inzwischen runter weil ich inzwischen versuche .exr zu vermeiden wenn ich es kann was bedeutet ein 4k video hat bei mir inzwischen keine 1000mb/sec mehr sondern in prores halt nur um die 300mb/sec.

[WoWu]

"HUFFYUV überhaupt nicht genannt, eine lizenzfreie, verlustfreie Video-Komprimierung."

Da steckt doch schon die Kompression im Namen und ist mit RAW überhaupt nicht vergleichbar.
Gibt es den eigentlich mittlerweile für MAC OS Applikationen oder muss sich immernoch jeder auf PC einstellen ?
Vor 17 Jahren war das wohl noch kein Problem, aber heute ?

[TheBubble]

Da steckt doch schon die Kompression im Namen und ist mit RAW überhaupt nicht vergleichbar.

Der Codec kann auch reines RGB ohne YUV-Wandlung verlustfrei komprimieren.

[WoWu]

Und was ist so attraktiv an einer fast 20 Jahre alten JPEG Kompression, gegenüber RAW ?

[TheBubble]

Und was ist so attraktiv an einer fast 20 Jahre alten JPEG Kompression, gegenüber RAW ?

Es ist ja gar kein JPEG oder auch nur eine JPEG ähnliche Kompression. Der Codec macht eine einfache Pixel-Vorhersage und Huffman-Kompression der Differenzen, ist dafür bei der Kompression aber enorm schnell.

Das war damals ein wichtiges Haupt-Feature.

[Frank Glencairn]

dieses (Pseudo-)Argument kommt in der IT schon seit min 40 Jahren immer wieder mal.

Es ist ein Pseudo Argument, daß das angeblich ein pseudo Argument ist.

DIgibeta und DCT Bänder waren pro Stunde viel teurer als heute Festplattenspeicher.
Zumal du die Platten jahrelang neu beschreiben kannst, was bei den Bändern nicht drin war.

Also 1:0 - ist nur schneller und billiger geworden.

Von Film möchte ich erst gar nicht anfangen

2:0

Das erste 300 GB RAID, daß ich gebaut habe, kostete fast so viel wie ein Kleinwagen - heute hab ich 10 x mehr Speicher auf einer 100 Euro 3TB Platte.

3:0

Die Preise für Festplatten, SSDs und andere Speichermedien sinken, und gleichzeitig sind höhere Kapazitäten verfügbar.

4:0

Die Anbindung wird immer schneller - früher mußte man eine Stunde Material in einer Stunde digitalisieren, über Firewire gings schon schneller, mittlerweile sind wir bei TB3 und USB-C

5:0

Auch die interne Anbindung wurde schneller, wie auch die Platten

6:0


...und alles was dir dazu einfällt ist der (auch noch völlig unpassende) Satz
"no one will ever need more than 640 KB Ram in his PC"

Ganz großes Kino.

Die rumbitcherei wegen Datenraten ist heute doch wirklich bestenfalls ein Schülerproblem.

[WoWu]

Und was ist so attraktiv an einer fast 20 Jahre alten JPEG Kompression, gegenüber RAW ?

Es ist ja gar kein JPEG oder auch nur eine JPEG ähnliche Kompression. Der Codec macht eine einfache Pixel-Vorhersage und Huffman-Kompression der Differenzen, ist dafür bei der Kompression aber enorm schnell.

Das war damals ein wichtiges Haupt-Feature.

"Huffyuv's algorithm is similar to that of lossless JPEG, in that it predicts each sample and then Huffman-encodes the error."
https://en.m.wikipedia.org/wiki/Huffyuv

[freezer]

Die rumbitcherei wegen Datenraten ist heute doch wirklich bestenfalls ein Schülerproblem.

Find ich auch. Bin mittlerweile bei insgesamt 135 TB mit allen RAID-Systemen zusammen.
Aber wer schon an den CFast2.0 Kartenpreisen zu kauen hat, hat natürlich mit den Kosten für Speicherplatz ein Problem.
Verstehe ich aber durchaus, manche schlagen sich halt grad so durch, da ist das Geld dann ständig knapp.

[WoWu]

Bei der Datenmengendiskussion sollte man auch nicht vergessen, dass RAW nur 1/3 der Datenmenge eines identischen Videosignals überträgt und die höheren Datenmengen dadurch entstehen, dass bessere Dynamik und höhere Qualitäten übertragen werden.
Mit dem einfachen Vergleich von Filegrössen springt man deutlich zu kurz.

[TheBubble]

"Huffyuv's algorithm is similar to that of lossless JPEG, in that it predicts each sample and then Huffman-encodes the error."
https://en.m.wikipedia.org/wiki/Huffyuv

Lossless JPEG (von 1993) ist aber nicht das, was man heute umgangssprachlich unter "JPEG" versteht. Es hat kaum eine Verbreitung erreicht, viele Programme können damit nicht umgehen.

Wenn, dann würde ich es, der Klarheit wegen, eher mit PNG vergleichen, wobei letzteres besser komprimieren kann, aber auch aufwendiger und langsamer ist.

Aber letztlich ist es doch auch egal. Es gibt den Codec und er wurde genutzt.

[WoWu]

"wurde"... das ist schon korrekt.
Daher auch die Frage, was er gegenüber modernen Codecs noch für Vorteile hat, außer dass Bastler sich ihren proprietären Codec daraus basteln können, der dann zwar auf (fast) keinem Player mehr spielt, aber natürlich den (selbstgemachte) besten Codec der Welt darstellt.

Wo also soll da ein Vorteil liegen.
Wenn dem so wäre, hätte längst die Industrie zugeschlagen.
Billig ist bekanntlich immer gut.

[Jott]

manche schlagen sich halt grad so durch, da ist das Geld dann ständig knapp.

Die klammen Broadcaster zum Beispiel, die trotz Milliardeneinnahmen in der Regel mit 50 MBit rumdarben! :-)

[TheBubble]

der dann zwar auf (fast) keinem Player mehr spielt

Das stimmt doch gar nicht. Auch heute können die alten Dateien ohne Umstände abgespielt werden.

Wo also soll da ein Vorteil liegen.
Wenn dem so wäre, hätte längst die Industrie zugeschlagen.
Billig ist bekanntlich immer gut.

Da gibt's sicher diverse Gründe für. Trotzdem hat der Codec seinen Zweck erfüllt und tut es bestimmt noch immer, es ist ja nicht so, dass Programme altern. Ich habe ihn ebenfalls für Tests nach erfolgter Filter-Entwicklung gerne benutzt. Für genaue Vergleiche kommen verlustbehaftete Codecs nicht in Frage und einfach unkomprimiert war mir zu dämlich.

[Peppermintpost]

aber wenn es um datenmengen der verschiedenen file formate spricht, dann muss man ja berücksichtigen, das es heute NIEMANDEN mehr gibt der bereit ist die maximale qualität entgegen zu nehmen.

als ich angefangen habe war es vollkommen klar das alles was ins TV kam bei werbung in D1 gemacht wurde und auf digi beta an den sender gegangen ist. d.h. das master ist immer unkompremiert und von da aus werden die sendekopien gezogen.
bei kino war spielfilm automatisch 4k (also das cineon 4k) und 12 bit und wurde auch so zum ausbelichten gegeben und kino werbung 2k/8bit zum ausbelichten, beide formate natürlich kompl unkompremiert.

wenn ich das heute mache fragt mich jeder ob ich noch alle tassen im schrank habe und sagen mir das sie natürlich ein HD prores wollen.

also für kino werbung reden wir also über ca 70% weniger datenmenge. für tv ist es fast gleich geblieben obwohl wir die 6fache bildgrösse im vergleich zu SD haben und bei kino spielfilm wird das intermediate zwar immer noch unkompremiert und mit 16bitfp gerechnet, dafür aber nur noch 1/4tel der damaligen grösse und das master ist dann auch nurnoch irgend eine jpg kleingedampfte grütze.

gleichzeitig ist aber der GB preis ins bodenlose gefallen. wie frank es ja schon geschrieben hat ein raid von unter einem TB war in der preisklasse eines kleinwagens.

und wenn ich irgendwo maximale qualität abliefern könnte, dann wäre ich ja auch gerne bereit meine postpro pipeline weiterhin in maximaler qualität aufrecht zu erhalten. aber wenn sowieso klar ist, das egal in welcher qualität ich drehe am ende das maximum was ich los werde ein 1:6 kompremiertes HD prores ist, wieso soll ich mir dann denn stress antuen den ganzen datenmüll zu generieren? das macht doch einfach null sinn. wenn ich ein paar greenscreen shots habe, das ist der einzige fall wo ich das resolve noch mal anschmeisse und die shots dann nochmal als exr raus rechne. ansonnsten, egal.

wenn ich von zeit zu zeit mal einen spot habe wo ich das gefühl hab - ui, da hat regie, kamera und produktion aber wirklich alles gegeben, dann bringe ich es nicht übers herz das in irgend so einem gammel format zu posten, aber das ist dann schon echter bit fetischismuss und ich frag mich hinterher immer ob ich noch alle auf dem zaun habe das so aufwendig zu bearbeiten.

also das datenraten hoch gehen das sehe ich einfach nicht mehr.