slashCAM
Administrator
Administrator
Beiträge: 11262

Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"

Beitrag von slashCAM »


Auch wenn sich das Thema etwas abseits von unseren üblichen News Themen bewegt könnten wir diesen besonders frischen Artikel auf Medium wirklich jedem ans Herz legen, der...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"



dosaris
Beiträge: 1701

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris »

interessante Darstellung der basics.

Möglicherweise fragen sich aber doch einige,
wat hilft mich dat?

Ein konkreter Erklärungsansatz ergibt sich daraus, was die Bit-Tiefe mit der Datenrate zu tun hat,
insbesondere die Abschätzung 8bit vs 10bit.

Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.
no big deal!

Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden. Eben weil die Entropie des zu komprimierenden Signals (durch das Rauschen)
schlagartig viel größer wird. Und dadurch wird gleichermaßen die benötigte Speicherchip-Qualität u -Größe
entsprechend höher ohne dass das Videosignal eine bessere Qualität bekommt. Od umgekehrt - weil
encoder immer nach bit-budget-Vorgaben arbeiten - kann die Qualität des nutzbaren Bildinhaltes bei 10bit
sogar schlechter sein als bei 8bit trotz wesentlich erhöhter Datenmenge.

Man muss sich also wirklich überlegen, wofür man die 2 zusätzlichen Bit realistisch nutzen kann/will.



cantsin
Beiträge: 14145

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin »

dosaris hat geschrieben: So 24 Jan, 2021 13:18 Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.



SonyTony
Beiträge: 284

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony »

Und zeigt, warum in log drehen, wenn man die Schwarzwerte in der Post sowieso absenken will nicht unbedingt mehr Qualität bringt.
Vor allem nicht, wenn das Signal stark komprimiert.

cantsin hat geschrieben: So 24 Jan, 2021 14:21
dosaris hat geschrieben: So 24 Jan, 2021 13:18 Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.
Freue mich über Technik-Austausch und Hilfe. :)
Jeder dreht anders, darum bitte keine Grundsatz-Diskussionen über Arbeitsweisen.



dienstag_01
Beiträge: 13415

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 »

cantsin hat geschrieben: So 24 Jan, 2021 14:21
dosaris hat geschrieben: So 24 Jan, 2021 13:18 Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.



cantsin
Beiträge: 14145

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin »

Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...



cantsin
Beiträge: 14145

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin »

dienstag_01 hat geschrieben: So 24 Jan, 2021 14:43 Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.



dienstag_01
Beiträge: 13415

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 »

cantsin hat geschrieben: So 24 Jan, 2021 14:48 Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...
Wenn die Unterscheidung zwischen Rauschen und Information in einem verrauschten Bild von unserem Gehirn vorgenommen wird, kann man nicht nur die Frage nach Datenreduzierung für Kompressionsalgorithmen stellen, sondern auch, wieviel Information eigentlich auf diesem Weg durch unser Gehirn verloren geht/ausgeblendet wird. Vielleicht, wenn wir unsere Wahrnehmung und die Kompessionstechnik auf dieser Stufe wieder zusammenführen, erhalten wir im Ergebnis ein 4bit Bild mit Banding wie aus LSD-Zeiten, weil, mehr Information ist für unser Gehirn eh nicht im Ausgangsbild, sagt die KI ;)



dienstag_01
Beiträge: 13415

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 »

cantsin hat geschrieben: So 24 Jan, 2021 14:50
dienstag_01 hat geschrieben: So 24 Jan, 2021 14:43 Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.



SonyTony
Beiträge: 284

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony »

Es gab ja auch ein paar mal schon Artikel zum Thema, ob man statt 10 Bit nicht einfach 8 Bit nehmen kann und am Ende einfach Film Grain drüber legt um das banding zu überdecken. Das könnte an solchen vereinzelten Stellen, wo es mal auftritt, einfacher sein. Habe das am Beispiel an Farbverläufen im Himmel gesehen, aber vielleicht hilft es auch bei Kompressionsartefakten im Schatten. Dann könnte das Hochkomprimierte intern denoisete Bild nahe an einem ohne Kompression aufgenommenen sein. Trotzdem werden mit dickerer Datenrate natürlich ein paar Details mehr aufgenommen, die Frage ist immer: ist es den Aufwand wert?
Freue mich über Technik-Austausch und Hilfe. :)
Jeder dreht anders, darum bitte keine Grundsatz-Diskussionen über Arbeitsweisen.



dosaris
Beiträge: 1701

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris »

cantsin hat geschrieben: So 24 Jan, 2021 14:48 Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.

Benutze das für die Restauration alter VHS-Aufnahmen auf dem Desktop-Rechner.
Selbst auf nem 12KernProzessor benötigt der ca 1 sec / Frame :-(



cantsin
Beiträge: 14145

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin »

dienstag_01 hat geschrieben: So 24 Jan, 2021 15:04
cantsin hat geschrieben: So 24 Jan, 2021 14:50

Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.
Sorry, irgendwie verliere ich Dich jetzt. BRAW hat eine deutlich geringere Datenrate als DNG, eben auch dank der temporalen Noisefilterung.

EDIT:
Hier ein verrauschter BRAW-Beispielframe:
Bild

...und hier der korrespondierende DNG-Frame, mit derselben Kamera, demselben Motiv und unter demselben Licht:
Bild
Zuletzt geändert von cantsin am So 24 Jan, 2021 16:04, insgesamt 2-mal geändert.



cantsin
Beiträge: 14145

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin »

dosaris hat geschrieben: So 24 Jan, 2021 15:15
cantsin hat geschrieben: So 24 Jan, 2021 14:48 Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.
Na, auf primitivere Weise geht das ja schon - AFAIK sind in h264 und h265 Verfahren implementiert, um beim Encoding Rauschen zu filtern, um die Datenrate zu drücken, und dann beim Decoding/Abspielen wieder künstliches Rauschen hinzuzufügen.



Darth Schneider
Beiträge: 19104

Re: Informationstheorie - einfach erklärt:

Beitrag von Darth Schneider »

Also mir persönlich soll es recht sein wenn BMD so viel Rauschen wie möglich weg putzt, gerade z.B. die Pocket 4K hat schliesslich ja einen MFT Sensor.
Das ist grundsätzlich nicht verkehrt.
Und auch bei einer Ursa mit 12K und tonnenweise Megapixel ist das doch auch nicht sooo verkehrt, die Bezeichnung raw hin oder her.
Ich sehe, oder spüre keinen massgeblichen, oder irgend in einer Form störenden Unterschied zwischen dng und BRaw. Nur ich finde BRaw macht mehr Spass und Ressourcen sparend doch durchaus Sinn beim arbeiten. ;)
Aber das sind nur meine Augen.
Gruss Boris
Alles vor und rund herum um die Kamera ist für einen guten Film viel, viel wichtiger als die Kamera selber.
Zuletzt geändert von Darth Schneider am So 24 Jan, 2021 18:20, insgesamt 1-mal geändert.



pillepalle
Beiträge: 8415

Re: Informationstheorie - einfach erklärt:

Beitrag von pillepalle »

Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG
Meine Lieblingsfilme:
Es war ein Mahl in Amerika
Molkerei auf der Bounty
Dune - Der Würstchenplanet



SonyTony
Beiträge: 284

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony »

Alles klar! Wird gemacht! Also immer eine Lampe dazustellen und direkt in die Kamera leuchten. Dann hab ich mehr helle Bereiche. :)
pillepalle hat geschrieben: So 24 Jan, 2021 18:20 Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG
Freue mich über Technik-Austausch und Hilfe. :)
Jeder dreht anders, darum bitte keine Grundsatz-Diskussionen über Arbeitsweisen.



Jott
Beiträge: 21802

Re: Informationstheorie - einfach erklärt:

Beitrag von Jott »

„ Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.“

Höhere Mathematik?



Whazabi
Beiträge: 69

Re: Informationstheorie - einfach erklärt:

Beitrag von Whazabi »

Naja also diese 8bit vs 10bit Thematik ist doch relativ einfach zu ermitteln.
Angenommen der Sensor liefert mehr als 10 stops Dynamik, brauch ich entweder 10+ bit oder log oder beides. Wenn es weniger ist dann brauch ich auch nicht so genau auflösen.

Wie viel Dynamik der Sensor liefern kann hängt sowohl von der Kamera, als auch vom Motiv ab.
Wenn ich kaum Kontrast hab, dann kann ich mir die höhere Datenrate schenken.
Aber schlechter wird das Ergebnis dadurch nicht. Im schlimmsten Fall hab ich halt die zusätzliche Datenrate vergeudet, um mein Rauschen detaillierter zu speichern ;)



 Aktuelle Beiträge [alle Foren]
 
» Sondergagen - Wer aufmuckt, wird nicht mehr besetzt
von macaw - Do 23:39
» Uwe Boll: Wie man Filme produziert ohne pleite zu gehen!
von macaw - Do 23:26
» Interessante Firmware-Updates für Sony Alpha 1, 7S III und 7 IV
von Bergspetzl - Do 22:46
» Nikon stellt NIKKOR Z 28-400mm f/4-8 VR Superzoom-Objektiv vor
von iasi - Do 22:45
» FCPX/Motion, DaVinci/Fusion... Tipps&Tricks
von roki100 - Do 22:27
» Was schaust Du gerade?
von klusterdegenerierung - Do 22:16
» Panasonic AG-UX90 Phantomspeisung defekt?
von Fabi283 - Do 22:03
» Mac SSD Speed Messung?
von TomStg - Do 21:43
» Neues SIGMA 50mm F1,2 DG DN | Art Objektiv wiegt 745g
von dienstag_01 - Do 21:21
» Deity Sidius TC Sync Software
von pillepalle - Do 19:58
» Red Komodo 6K + Gimbal, Advanced Ring Grip und viel Zubehör
von Sevenz - Do 19:01
» >Der LED Licht Thread<
von freezer - Do 18:53
» Camera Update 8.6: Viele neue Funktionen für Blackmagic Kameras
von slashCAM - Do 17:42
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von Swat - Do 16:06
» 4 Gründe hartes Licht zu nutzen
von ruessel - Do 15:45
» [gelöst] 3.5mm Klinkenstecker Überwurfmutter
von Skeptiker - Do 14:42
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Do 13:49
» -SONY FX- Erfahrungsaustausch
von rush - Do 13:40
» AOC bringt 44.5" OLED-Riesenmonitor mit 98.5% DCI-P3
von MK - Do 12:07
» Adobe führt die neue Funktion "Structure Reference" in Firefly ein
von slashCAM - Do 10:54
» Exhuma - die Südkoreaner können erfolgreiche Filme drehen
von -paleface- - Do 8:46
» Was hörst Du gerade?
von roki100 - Do 0:22
» Sony A9 III im Praxistest - ein echter Überraschungscoup auch für Filmer
von Mantas - Mi 23:27
» Video Pro X stürzt beim Multi Cam Schnitt ab
von MisterX - Mi 21:47
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Darth Schneider - Mi 18:58
» Verschachtelte Timeline im richtigen Seitenformat
von Clemens Schiesko - Mi 18:43
» Untertitel in FCPX bei vorhandener Textdatei?
von R S K - Mi 18:34
» Deckenlicht mobil abschatten
von Frank Glencairn - Mi 17:31
» LUTs für Canon R6 Mark II
von TomStg - Mi 12:24
» RED versucht User nach Übernahme durch Nikon zu beruhigen
von dienstag_01 - Mi 11:52
» Entfesseltes Storytelling mit der Video-KI Sora?
von Frank Glencairn - Mi 5:54
» Slashcam 2001 - Das Internet vergisst nichts!
von macaw - Di 21:37
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von Frank Glencairn - Di 18:54
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von iasi - Di 13:32
» 3 Body Problem - so verfilmt man heute Bücher
von stip - Di 8:30