slashCAM
Administrator
Administrator
Beiträge: 11260

Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"

Beitrag von slashCAM » So 24 Jan, 2021 11:00


Auch wenn sich das Thema etwas abseits von unseren üblichen News Themen bewegt könnten wir diesen besonders frischen Artikel auf Medium wirklich jedem ans Herz legen, der...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"




dosaris
Beiträge: 1403

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris » So 24 Jan, 2021 13:18

interessante Darstellung der basics.

Möglicherweise fragen sich aber doch einige,
wat hilft mich dat?

Ein konkreter Erklärungsansatz ergibt sich daraus, was die Bit-Tiefe mit der Datenrate zu tun hat,
insbesondere die Abschätzung 8bit vs 10bit.

Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.
no big deal!

Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden. Eben weil die Entropie des zu komprimierenden Signals (durch das Rauschen)
schlagartig viel größer wird. Und dadurch wird gleichermaßen die benötigte Speicherchip-Qualität u -Größe
entsprechend höher ohne dass das Videosignal eine bessere Qualität bekommt. Od umgekehrt - weil
encoder immer nach bit-budget-Vorgaben arbeiten - kann die Qualität des nutzbaren Bildinhaltes bei 10bit
sogar schlechter sein als bei 8bit trotz wesentlich erhöhter Datenmenge.

Man muss sich also wirklich überlegen, wofür man die 2 zusätzlichen Bit realistisch nutzen kann/will.




cantsin
Beiträge: 8705

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:21

dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 14:31

Und zeigt, warum in log drehen, wenn man die Schwarzwerte in der Post sowieso absenken will nicht unbedingt mehr Qualität bringt.
Vor allem nicht, wenn das Signal stark komprimiert.

cantsin hat geschrieben:
So 24 Jan, 2021 14:21
dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.




dienstag_01
Beiträge: 10952

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 14:43

cantsin hat geschrieben:
So 24 Jan, 2021 14:21
dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.




cantsin
Beiträge: 8705

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:48

Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...




cantsin
Beiträge: 8705

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:50

dienstag_01 hat geschrieben:
So 24 Jan, 2021 14:43
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.




dienstag_01
Beiträge: 10952

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 14:59

cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...
Wenn die Unterscheidung zwischen Rauschen und Information in einem verrauschten Bild von unserem Gehirn vorgenommen wird, kann man nicht nur die Frage nach Datenreduzierung für Kompressionsalgorithmen stellen, sondern auch, wieviel Information eigentlich auf diesem Weg durch unser Gehirn verloren geht/ausgeblendet wird. Vielleicht, wenn wir unsere Wahrnehmung und die Kompessionstechnik auf dieser Stufe wieder zusammenführen, erhalten wir im Ergebnis ein 4bit Bild mit Banding wie aus LSD-Zeiten, weil, mehr Information ist für unser Gehirn eh nicht im Ausgangsbild, sagt die KI ;)




dienstag_01
Beiträge: 10952

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 15:04

cantsin hat geschrieben:
So 24 Jan, 2021 14:50
dienstag_01 hat geschrieben:
So 24 Jan, 2021 14:43
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 15:06

Es gab ja auch ein paar mal schon Artikel zum Thema, ob man statt 10 Bit nicht einfach 8 Bit nehmen kann und am Ende einfach Film Grain drüber legt um das banding zu überdecken. Das könnte an solchen vereinzelten Stellen, wo es mal auftritt, einfacher sein. Habe das am Beispiel an Farbverläufen im Himmel gesehen, aber vielleicht hilft es auch bei Kompressionsartefakten im Schatten. Dann könnte das Hochkomprimierte intern denoisete Bild nahe an einem ohne Kompression aufgenommenen sein. Trotzdem werden mit dickerer Datenrate natürlich ein paar Details mehr aufgenommen, die Frage ist immer: ist es den Aufwand wert?




dosaris
Beiträge: 1403

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris » So 24 Jan, 2021 15:15

cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.

Benutze das für die Restauration alter VHS-Aufnahmen auf dem Desktop-Rechner.
Selbst auf nem 12KernProzessor benötigt der ca 1 sec / Frame :-(




cantsin
Beiträge: 8705

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 15:51

dienstag_01 hat geschrieben:
So 24 Jan, 2021 15:04
cantsin hat geschrieben:
So 24 Jan, 2021 14:50


Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.
Sorry, irgendwie verliere ich Dich jetzt. BRAW hat eine deutlich geringere Datenrate als DNG, eben auch dank der temporalen Noisefilterung.

EDIT:
Hier ein verrauschter BRAW-Beispielframe:
Bild

...und hier der korrespondierende DNG-Frame, mit derselben Kamera, demselben Motiv und unter demselben Licht:
Bild
Zuletzt geändert von cantsin am So 24 Jan, 2021 16:04, insgesamt 2-mal geändert.




cantsin
Beiträge: 8705

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 15:53

dosaris hat geschrieben:
So 24 Jan, 2021 15:15
cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.
Na, auf primitivere Weise geht das ja schon - AFAIK sind in h264 und h265 Verfahren implementiert, um beim Encoding Rauschen zu filtern, um die Datenrate zu drücken, und dann beim Decoding/Abspielen wieder künstliches Rauschen hinzuzufügen.




Darth Schneider
Beiträge: 7044

Re: Informationstheorie - einfach erklärt:

Beitrag von Darth Schneider » So 24 Jan, 2021 18:17

Also mir persönlich soll es recht sein wenn BMD so viel Rauschen wie möglich weg putzt, gerade z.B. die Pocket 4K hat schliesslich ja einen MFT Sensor.
Das ist grundsätzlich nicht verkehrt.
Und auch bei einer Ursa mit 12K und tonnenweise Megapixel ist das doch auch nicht sooo verkehrt, die Bezeichnung raw hin oder her.
Ich sehe, oder spüre keinen massgeblichen, oder irgend in einer Form störenden Unterschied zwischen dng und BRaw. Nur ich finde BRaw macht mehr Spass und Ressourcen sparend doch durchaus Sinn beim arbeiten. ;)
Aber das sind nur meine Augen.
Gruss Boris
Ich werde der dunklen Seite widerstehen und mir die Pocket Pro heute nicht kaufen !

Zuletzt geändert von Darth Schneider am So 24 Jan, 2021 18:20, insgesamt 1-mal geändert.




pillepalle
Beiträge: 3625

Re: Informationstheorie - einfach erklärt:

Beitrag von pillepalle » So 24 Jan, 2021 18:20

Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG
Eigene Gedanken müsste man haben...




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 18:49

Alles klar! Wird gemacht! Also immer eine Lampe dazustellen und direkt in die Kamera leuchten. Dann hab ich mehr helle Bereiche. :)
pillepalle hat geschrieben:
So 24 Jan, 2021 18:20
Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG




Jott
Beiträge: 18952

Re: Informationstheorie - einfach erklärt:

Beitrag von Jott » Mo 25 Jan, 2021 06:36

„ Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.“

Höhere Mathematik?




Whazabi
Beiträge: 59

Re: Informationstheorie - einfach erklärt:

Beitrag von Whazabi » Mo 25 Jan, 2021 15:23

Naja also diese 8bit vs 10bit Thematik ist doch relativ einfach zu ermitteln.
Angenommen der Sensor liefert mehr als 10 stops Dynamik, brauch ich entweder 10+ bit oder log oder beides. Wenn es weniger ist dann brauch ich auch nicht so genau auflösen.

Wie viel Dynamik der Sensor liefern kann hängt sowohl von der Kamera, als auch vom Motiv ab.
Wenn ich kaum Kontrast hab, dann kann ich mir die höhere Datenrate schenken.
Aber schlechter wird das Ergebnis dadurch nicht. Im schlimmsten Fall hab ich halt die zusätzliche Datenrate vergeudet, um mein Rauschen detaillierter zu speichern ;)




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Umfrage: In RAW filmen, Deine Meinung?
von Frank Glencairn - Di 8:31
» Sennheiser MKE 600 vs. Rode NTG-3
von rush - Di 7:40
» Blackmagic Pocket Cinema Camera 6K Pro - mit integriertem ND-Filter und optionalem Sucher
von Darth Schneider - Di 5:48
» Was schaust Du gerade?
von Bluboy - Di 0:08
» Meine Fränkische
von KaHa - Mo 23:43
» Topaz Labs Video Enhance AI 2.0: Videoverbesserungen per KI zum Sonderpreis
von Jott - Mo 23:08
» Panasonic HC-X 2000 - 2. Akku/Ersatzakku/Fremdhersteller?
von ice - Mo 20:16
» Hyperdeck - Lower thirds mit ATEM-Switcher
von prime - Mo 20:13
» Automatik Modus bei HX-C 1500
von ice - Mo 19:36
» Audio Plugins auf der GPU berechnen - BRAINGINES GPU Audio
von rush - Mo 19:25
» BMPCC 6k pro und MFT- Objektive
von roki100 - Mo 17:56
» Apple stellt den iMac Pro ein
von markusG - Mo 17:36
» Was hast Du zuletzt gekauft?
von ruessel - Mo 16:52
» DIY - Rüssel MEMS Mikrofon(e)
von ruessel - Mo 16:48
» Wie unbedeutend...
von Darth Schneider - Mo 14:59
» Neue Mittelklasse GPU von AMD - Radeon RX 6700XT
von iasi - Mo 14:37
» Motion Tracking am Pantoffeltier
von Lorbass - Mo 13:33
» Latenz bei Sennheiser AVX-MKE2
von s.holmes - Mo 13:21
» Atomos Ninja Bild drehen und mit Dauerstrom
von Mediamind - Mo 10:54
» DPReviewTV Fujifilm X-S10 vs Sony a6400
von Funless - Mo 10:03
» Rodelink Lav mit Kabelschaden, reparierbar?
von Mediamind - Mo 9:59
» Aufbau VR-Studio / 3D-Visualisierung
von VRStudioFranken - Mo 9:55
» Sirui kündigt anamorphotisches Weitwinkel-Objektiv 35mm F/1.8 1.33x an
von andieymi - Mo 9:51
» DJI FPV: Neue FPV-Drohne mit OcuSync 3.0 ist bis zu 140 km/h schnell
von Jalue - Mo 9:34
» How a Film Camera works in Slow Motion
von Axel - Mo 9:01
» >Der LED Licht Thread<
von pillepalle - Mo 1:35
» Neue ARRI Kamera vorgestellt: AMIRA Live - für Broadcast Einsätze
von Mantas - So 21:50
» Neue Phantom TMX Ultrahigh-Speed Kamera mit BSI Sensor: 1.280 x 800 HD mit 76.000 FPS
von medienonkel - So 19:25
» BenQ SW271C: 27" 4K Profi-Monitor mit 99% AdobeRGB und nativen 24P/25P/30P
von Borke - So 18:43
» Multikamera/Synchron mit 7 Kameras ca. 5 Std. am Stück aufzeichnen mit 50fps
von videofreund23 - So 18:28
» Canon EOS R1 Specifications
von iasi - So 18:03
» Agenten sterben einsam
von Kevin Reimann - So 17:30
» Sony Alpha S-Cinetone ähnlich
von sim - So 17:04
» YouTube 4K Video Encoding zu langsam? Mit diesem Hack geht’s schneller …
von r.p.television - So 16:05
» KEP 59 1A Wölfe in Berlin
von Heinrich123 - So 13:49
 
neuester Artikel
 
Schnitt- und Compositing-Trends 2030

Welche Entwicklungen darf man bei Schnitt- und Compositing-Anwendungen in den nächsten 10 Jahren erwarten? Ein paar Trends zeichnen sich jedenfalls schon deutlich ab... weiterlesen>>

Sony FX3 - Praxistest

Wir hatten bereits Gelegenheit zu einem ausführlichen Test der neuen Sony FX3 in der Praxis und haben uns vor allem die Ergonomie, den Autofokusbetrieb bei 200mm f2.8 (!), die Hauttonreproduktion inkl. LOG/LUT, Cinetone und allen Farbprofilen, die starke Zeitlupenfunktion, den Akkuverbrauch, die Stabilisierungsleistung uvm. angeschaut: Ist die Sony FX3 die bessere A7S III? weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...