slashCAM
Administrator
Administrator
Beiträge: 11260

Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"

Beitrag von slashCAM » So 24 Jan, 2021 11:00


Auch wenn sich das Thema etwas abseits von unseren üblichen News Themen bewegt könnten wir diesen besonders frischen Artikel auf Medium wirklich jedem ans Herz legen, der...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"




dosaris
Beiträge: 1392

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris » So 24 Jan, 2021 13:18

interessante Darstellung der basics.

Möglicherweise fragen sich aber doch einige,
wat hilft mich dat?

Ein konkreter Erklärungsansatz ergibt sich daraus, was die Bit-Tiefe mit der Datenrate zu tun hat,
insbesondere die Abschätzung 8bit vs 10bit.

Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.
no big deal!

Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden. Eben weil die Entropie des zu komprimierenden Signals (durch das Rauschen)
schlagartig viel größer wird. Und dadurch wird gleichermaßen die benötigte Speicherchip-Qualität u -Größe
entsprechend höher ohne dass das Videosignal eine bessere Qualität bekommt. Od umgekehrt - weil
encoder immer nach bit-budget-Vorgaben arbeiten - kann die Qualität des nutzbaren Bildinhaltes bei 10bit
sogar schlechter sein als bei 8bit trotz wesentlich erhöhter Datenmenge.

Man muss sich also wirklich überlegen, wofür man die 2 zusätzlichen Bit realistisch nutzen kann/will.




cantsin
Beiträge: 8635

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:21

dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 14:31

Und zeigt, warum in log drehen, wenn man die Schwarzwerte in der Post sowieso absenken will nicht unbedingt mehr Qualität bringt.
Vor allem nicht, wenn das Signal stark komprimiert.

cantsin hat geschrieben:
So 24 Jan, 2021 14:21
dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.




dienstag_01
Beiträge: 10941

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 14:43

cantsin hat geschrieben:
So 24 Jan, 2021 14:21
dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.




cantsin
Beiträge: 8635

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:48

Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...




cantsin
Beiträge: 8635

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:50

dienstag_01 hat geschrieben:
So 24 Jan, 2021 14:43
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.




dienstag_01
Beiträge: 10941

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 14:59

cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...
Wenn die Unterscheidung zwischen Rauschen und Information in einem verrauschten Bild von unserem Gehirn vorgenommen wird, kann man nicht nur die Frage nach Datenreduzierung für Kompressionsalgorithmen stellen, sondern auch, wieviel Information eigentlich auf diesem Weg durch unser Gehirn verloren geht/ausgeblendet wird. Vielleicht, wenn wir unsere Wahrnehmung und die Kompessionstechnik auf dieser Stufe wieder zusammenführen, erhalten wir im Ergebnis ein 4bit Bild mit Banding wie aus LSD-Zeiten, weil, mehr Information ist für unser Gehirn eh nicht im Ausgangsbild, sagt die KI ;)




dienstag_01
Beiträge: 10941

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 15:04

cantsin hat geschrieben:
So 24 Jan, 2021 14:50
dienstag_01 hat geschrieben:
So 24 Jan, 2021 14:43
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 15:06

Es gab ja auch ein paar mal schon Artikel zum Thema, ob man statt 10 Bit nicht einfach 8 Bit nehmen kann und am Ende einfach Film Grain drüber legt um das banding zu überdecken. Das könnte an solchen vereinzelten Stellen, wo es mal auftritt, einfacher sein. Habe das am Beispiel an Farbverläufen im Himmel gesehen, aber vielleicht hilft es auch bei Kompressionsartefakten im Schatten. Dann könnte das Hochkomprimierte intern denoisete Bild nahe an einem ohne Kompression aufgenommenen sein. Trotzdem werden mit dickerer Datenrate natürlich ein paar Details mehr aufgenommen, die Frage ist immer: ist es den Aufwand wert?




dosaris
Beiträge: 1392

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris » So 24 Jan, 2021 15:15

cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.

Benutze das für die Restauration alter VHS-Aufnahmen auf dem Desktop-Rechner.
Selbst auf nem 12KernProzessor benötigt der ca 1 sec / Frame :-(




cantsin
Beiträge: 8635

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 15:51

dienstag_01 hat geschrieben:
So 24 Jan, 2021 15:04
cantsin hat geschrieben:
So 24 Jan, 2021 14:50


Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.
Sorry, irgendwie verliere ich Dich jetzt. BRAW hat eine deutlich geringere Datenrate als DNG, eben auch dank der temporalen Noisefilterung.

EDIT:
Hier ein verrauschter BRAW-Beispielframe:
Bild

...und hier der korrespondierende DNG-Frame, mit derselben Kamera, demselben Motiv und unter demselben Licht:
Bild
Zuletzt geändert von cantsin am So 24 Jan, 2021 16:04, insgesamt 2-mal geändert.




cantsin
Beiträge: 8635

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 15:53

dosaris hat geschrieben:
So 24 Jan, 2021 15:15
cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.
Na, auf primitivere Weise geht das ja schon - AFAIK sind in h264 und h265 Verfahren implementiert, um beim Encoding Rauschen zu filtern, um die Datenrate zu drücken, und dann beim Decoding/Abspielen wieder künstliches Rauschen hinzuzufügen.




Darth Schneider
Beiträge: 6908

Re: Informationstheorie - einfach erklärt:

Beitrag von Darth Schneider » So 24 Jan, 2021 18:17

Also mir persönlich soll es recht sein wenn BMD so viel Rauschen wie möglich weg putzt, gerade z.B. die Pocket 4K hat schliesslich ja einen MFT Sensor.
Das ist grundsätzlich nicht verkehrt.
Und auch bei einer Ursa mit 12K und tonnenweise Megapixel ist das doch auch nicht sooo verkehrt, die Bezeichnung raw hin oder her.
Ich sehe, oder spüre keinen massgeblichen, oder irgend in einer Form störenden Unterschied zwischen dng und BRaw. Nur ich finde BRaw macht mehr Spass und Ressourcen sparend doch durchaus Sinn beim arbeiten. ;)
Aber das sind nur meine Augen.
Gruss Boris
Ich werde der dunklen Seite widerstehen und mir die Pocket Pro heute nicht kaufen !

Zuletzt geändert von Darth Schneider am So 24 Jan, 2021 18:20, insgesamt 1-mal geändert.




pillepalle
Beiträge: 3558

Re: Informationstheorie - einfach erklärt:

Beitrag von pillepalle » So 24 Jan, 2021 18:20

Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG
Eigene Gedanken müsste man haben...




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 18:49

Alles klar! Wird gemacht! Also immer eine Lampe dazustellen und direkt in die Kamera leuchten. Dann hab ich mehr helle Bereiche. :)
pillepalle hat geschrieben:
So 24 Jan, 2021 18:20
Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG




Jott
Beiträge: 18910

Re: Informationstheorie - einfach erklärt:

Beitrag von Jott » Mo 25 Jan, 2021 06:36

„ Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.“

Höhere Mathematik?




Whazabi
Beiträge: 58

Re: Informationstheorie - einfach erklärt:

Beitrag von Whazabi » Mo 25 Jan, 2021 15:23

Naja also diese 8bit vs 10bit Thematik ist doch relativ einfach zu ermitteln.
Angenommen der Sensor liefert mehr als 10 stops Dynamik, brauch ich entweder 10+ bit oder log oder beides. Wenn es weniger ist dann brauch ich auch nicht so genau auflösen.

Wie viel Dynamik der Sensor liefern kann hängt sowohl von der Kamera, als auch vom Motiv ab.
Wenn ich kaum Kontrast hab, dann kann ich mir die höhere Datenrate schenken.
Aber schlechter wird das Ergebnis dadurch nicht. Im schlimmsten Fall hab ich halt die zusätzliche Datenrate vergeudet, um mein Rauschen detaillierter zu speichern ;)




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Neue Sony A7S III filmt intern in 4K 10 Bit 4:2:2 bis 120fps - mit 15+ Dynamikumfang
von rush - Do 20:47
» Sony FX3 vorgestellt - die bessere Sony Alpha 7S III für Filmer
von iasi - Do 20:43
» Blackmagic DaVinci Resolve 17 ist final
von mash_gh4 - Do 20:40
» >Der LED Licht Thread<
von Frank Glencairn - Do 20:09
» Umstieg von Ursa Mini 4K EF auf Z-CAM E2 F6
von cantsin - Do 19:49
» FInalCut als Mietsoftware
von roki100 - Do 16:41
» Was schaust Du gerade?
von 7River - Do 16:33
» Sony Alpha 7S III Firmware Update 2.0 bringt u.a. S-Cinetone
von slashCAM - Do 14:30
» Nikon Z6II und Z7II mit Dual Card Slots und erstmalig externem Blackmagic Raw Support
von Kanaloa - Do 14:17
» Panasonic G9 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von roki100 - Do 14:12
» Imagefilm für ein kleines Pharmaunternehmen
von GaToR-BN - Do 14:09
» Resolve 17.0
von Bruno Peter - Do 12:52
» Adobe Engineering Hours heute ab 16h -- und das CC-Abo ist ausgelost
von slashCAM - Do 12:42
» wie kann ich ein verwackeltes Zeitraffervideo aufbereiten?
von mash_gh4 - Do 11:39
» Blackmagic Pocket Cinema Camera 6K Pro - mit integriertem ND-Filter und optionalem Sucher
von roki100 - Do 11:33
» Wie unbedeutend...
von Frank Glencairn - Do 10:07
» Cyberpunk 2077 Phoenix Program -- Actionkamera ist eine Kunst für sich
von lensoperator - Do 9:55
» Pocket 4K Dual ISO Artefakte bei ISO 1250
von Darth Schneider - Do 9:27
» Focal Clear Mg Professional: Neuer Referenz-Kopfhörer mit verbesserter Membran
von ruessel - Do 8:25
» Aldi-PC: i7 10700, 32GB, RTX3070 - sinnvoll?
von markusG - Do 8:14
» Rode Wireless Go II
von pillepalle - Do 3:22
» Neu: Blackmagic Web Presenter HD - Live-Streaming per USB, Ethernet oder Mobilfunk für SDI-Kameras
von prime - Mi 17:38
» Neuer Patch Video deluxe 20.0.1.80 / Video Pro X 18.0.1.95
von wabu - Mi 17:22
» BenQ Mobiuz EX3415R: gekrümmter 34" Monitor mit 98% DCI-P3
von cantsin - Mi 16:49
» Lenovo ThinkVision P40w: 39.7" 5K-Monitor mit Thunderbolt 4 Dock
von slashCAM - Mi 15:21
» Blackmagic DaVinci Speed Editor: Kompakte Tastatur für Resolve inklusive Studio Lizenz für 299 Euro!
von Jasper - Mi 14:48
» ATEM Mini Pro Streaming via Ethernet
von tillsen - Mi 14:11
» Staub im Sigma Art 24-70 f:2.8 DGDN
von rush - Mi 13:55
» Größter Smartphone Sensor - bis jetzt: Samsung ISOCELL GN2
von WWJD - Mi 13:50
» Z6 oder Z6 II für überwiegend FullHD - Frage eines Newbies
von pillepalle - Mi 13:29
» Multikamera/Synchron mit 7 Kameras ca. 5 Std. am Stück aufzeichnen mit 50fps
von Jott - Mi 12:34
» Umfrage: In RAW filmen, Deine Meinung?
von slashCAM - Mi 12:18
» Problem mit Stream - bunte Linien/flackern in dunklen Stellen
von Jott - Mi 12:08
» Retusche einer Lippe (PR/AE)
von Frank Glencairn - Mi 6:45
» Grundrauschen von Mikrofone
von videofreund23 - Di 23:34
 
neuester Artikel
 
Sony FX3 - Praxistest

Wir hatten bereits Gelegenheit zu einem ausführlichen Test der neuen Sony FX3 in der Praxis und haben uns vor allem die Ergonomie, den Autofokusbetrieb bei 200mm f2.8 (!), die Hauttonreproduktion inkl. LOG/LUT, Cinetone und allen Farbprofilen, die starke Zeitlupenfunktion, den Akkuverbrauch, die Stabilisierungsleistung uvm. angeschaut: Ist die Sony FX3 die bessere A7S III? weiterlesen>>

Sony FX3 - Rolling Shutter und Debayering

Die Nähe der Sony FX3 zur Alpha 7SIII ist ja kein Geheimnis. Dennoch wollten wir natürlich wissen, ob sich an der Bildqualität gegenüber der Consumer-Schwester Unterschiede entdecken lassen... weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...