slashCAM
Administrator
Administrator
Beiträge: 11260

Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"

Beitrag von slashCAM » So 24 Jan, 2021 11:00


Auch wenn sich das Thema etwas abseits von unseren üblichen News Themen bewegt könnten wir diesen besonders frischen Artikel auf Medium wirklich jedem ans Herz legen, der...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Informationstheorie - einfach erklärt: "An Intuitive Look at the Basics of Information Theory"




dosaris
Beiträge: 1398

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris » So 24 Jan, 2021 13:18

interessante Darstellung der basics.

Möglicherweise fragen sich aber doch einige,
wat hilft mich dat?

Ein konkreter Erklärungsansatz ergibt sich daraus, was die Bit-Tiefe mit der Datenrate zu tun hat,
insbesondere die Abschätzung 8bit vs 10bit.

Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.
no big deal!

Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden. Eben weil die Entropie des zu komprimierenden Signals (durch das Rauschen)
schlagartig viel größer wird. Und dadurch wird gleichermaßen die benötigte Speicherchip-Qualität u -Größe
entsprechend höher ohne dass das Videosignal eine bessere Qualität bekommt. Od umgekehrt - weil
encoder immer nach bit-budget-Vorgaben arbeiten - kann die Qualität des nutzbaren Bildinhaltes bei 10bit
sogar schlechter sein als bei 8bit trotz wesentlich erhöhter Datenmenge.

Man muss sich also wirklich überlegen, wofür man die 2 zusätzlichen Bit realistisch nutzen kann/will.




cantsin
Beiträge: 8692

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:21

dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 14:31

Und zeigt, warum in log drehen, wenn man die Schwarzwerte in der Post sowieso absenken will nicht unbedingt mehr Qualität bringt.
Vor allem nicht, wenn das Signal stark komprimiert.

cantsin hat geschrieben:
So 24 Jan, 2021 14:21
dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.




dienstag_01
Beiträge: 10951

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 14:43

cantsin hat geschrieben:
So 24 Jan, 2021 14:21
dosaris hat geschrieben:
So 24 Jan, 2021 13:18
Aber der Knackpunkt steckt (siehe der referenzierte Artikel) eben darin, was in den zusätzlichen (unteren) 2 bit drin steckt.
Wenn darin nur (zusätzliches) Bildrauschen steckt wird die Datenrate eben nicht nur 25% höher sondern es können
eben auch mal über 200% Aufschlag werden.
Was auch die Erklärung dafür ist, warum viele 'Raw'-Formate inkl. Blackmagic Raw/BRAW mittlerweile vorab bzw. kameraintern rauschgefiltert sind.
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.




cantsin
Beiträge: 8692

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:48

Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...




cantsin
Beiträge: 8692

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 14:50

dienstag_01 hat geschrieben:
So 24 Jan, 2021 14:43
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.




dienstag_01
Beiträge: 10951

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 14:59

cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.

Um das Beispiel aus dem Artikel zu nehmen: Pixelrauschen ist für die menschliche Wahrnehmung "repetitiv und redundant", für einen Kompressionsalgorithmus wegen der hohen Entropie aber maximal komplex bzw. nicht-redundant, daher mit hohem Informationsgehalt und schlecht komprimierbar. Wenn man jetzt aber Deep Learning-trainierte Kompressionsalgorithmen auf das Pixelrauschen loslässt, interpretieren die das Rauschen einfach als Rauschen und speichern es mit einem Bit weg. (Also reduziert sich dann die Kolmogorow-Komplexität des Rauschmusters von maximal auf minimal.)

Spannende Zeiten...
Wenn die Unterscheidung zwischen Rauschen und Information in einem verrauschten Bild von unserem Gehirn vorgenommen wird, kann man nicht nur die Frage nach Datenreduzierung für Kompressionsalgorithmen stellen, sondern auch, wieviel Information eigentlich auf diesem Weg durch unser Gehirn verloren geht/ausgeblendet wird. Vielleicht, wenn wir unsere Wahrnehmung und die Kompessionstechnik auf dieser Stufe wieder zusammenführen, erhalten wir im Ergebnis ein 4bit Bild mit Banding wie aus LSD-Zeiten, weil, mehr Information ist für unser Gehirn eh nicht im Ausgangsbild, sagt die KI ;)




dienstag_01
Beiträge: 10951

Re: Informationstheorie - einfach erklärt:

Beitrag von dienstag_01 » So 24 Jan, 2021 15:04

cantsin hat geschrieben:
So 24 Jan, 2021 14:50
dienstag_01 hat geschrieben:
So 24 Jan, 2021 14:43
Ich denke nicht. Gerade bei Raw würde es Sinn machen, die Daten für die Post einfach durchzureichen, das entspricht ja auch dem eigentlichen Sinn von Raw. Ist am Anfang bei den ersten Kameras auch so gewesen. Geändert haben sich vor allem die Sensoren und damit das Processing in der Kamera, Rauschunterdrückung findet bei modernen Kameras auf dem Sensor statt, vor der Digitalisierung. Das macht Sinn für alle standardisierten Videoformate. Für Raw, wo es eigentlich weniger Sinn macht, bleibt aber gar keine andere Möglichkeit mehr, da die Sensoren nun mal so gebaut sind.
Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 15:06

Es gab ja auch ein paar mal schon Artikel zum Thema, ob man statt 10 Bit nicht einfach 8 Bit nehmen kann und am Ende einfach Film Grain drüber legt um das banding zu überdecken. Das könnte an solchen vereinzelten Stellen, wo es mal auftritt, einfacher sein. Habe das am Beispiel an Farbverläufen im Himmel gesehen, aber vielleicht hilft es auch bei Kompressionsartefakten im Schatten. Dann könnte das Hochkomprimierte intern denoisete Bild nahe an einem ohne Kompression aufgenommenen sein. Trotzdem werden mit dickerer Datenrate natürlich ein paar Details mehr aufgenommen, die Frage ist immer: ist es den Aufwand wert?




dosaris
Beiträge: 1398

Re: Informationstheorie - einfach erklärt:

Beitrag von dosaris » So 24 Jan, 2021 15:15

cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.

Benutze das für die Restauration alter VHS-Aufnahmen auf dem Desktop-Rechner.
Selbst auf nem 12KernProzessor benötigt der ca 1 sec / Frame :-(




cantsin
Beiträge: 8692

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 15:51

dienstag_01 hat geschrieben:
So 24 Jan, 2021 15:04
cantsin hat geschrieben:
So 24 Jan, 2021 14:50


Ist aber bei Blackmagics aktuellen Kameras (wie der Pocket 4K und 6K) definitiv nicht so, weil Du da neben dem rauschgefilterten BRAW auch noch nicht-rauschgefilterte DNG-Stills aufnehmen kann, die sich im Rauschmuster sehr deutlich von BRAW unterscheiden. Blackmagic gibt auch selbst an, dass bei BRAW temporal denoising gemacht wird.
Und wie erklärst du dir dann den Unterschied zwischen RAW und DNG? Dein Argument Datenrate würde ja auch für DNG zutreffen.
Sorry, irgendwie verliere ich Dich jetzt. BRAW hat eine deutlich geringere Datenrate als DNG, eben auch dank der temporalen Noisefilterung.

EDIT:
Hier ein verrauschter BRAW-Beispielframe:
Bild

...und hier der korrespondierende DNG-Frame, mit derselben Kamera, demselben Motiv und unter demselben Licht:
Bild
Zuletzt geändert von cantsin am So 24 Jan, 2021 16:04, insgesamt 2-mal geändert.




cantsin
Beiträge: 8692

Re: Informationstheorie - einfach erklärt:

Beitrag von cantsin » So 24 Jan, 2021 15:53

dosaris hat geschrieben:
So 24 Jan, 2021 15:15
cantsin hat geschrieben:
So 24 Jan, 2021 14:48
Allerdings stellt sich jetzt durch Deep Learning/neuronale Netze/KI die Frage, inwieweit diese klassischen Annahmen der Informationstheorie und Grundlagen der Datenkompression noch für zukünftige Systeme Bestand haben werden.
ja, klar,
aber bis das in die Cams einzieht wird wohl noch 1 Jahrzent vergehen.
Das braucht richtig Rechenpower.
Na, auf primitivere Weise geht das ja schon - AFAIK sind in h264 und h265 Verfahren implementiert, um beim Encoding Rauschen zu filtern, um die Datenrate zu drücken, und dann beim Decoding/Abspielen wieder künstliches Rauschen hinzuzufügen.




Darth Schneider
Beiträge: 7008

Re: Informationstheorie - einfach erklärt:

Beitrag von Darth Schneider » So 24 Jan, 2021 18:17

Also mir persönlich soll es recht sein wenn BMD so viel Rauschen wie möglich weg putzt, gerade z.B. die Pocket 4K hat schliesslich ja einen MFT Sensor.
Das ist grundsätzlich nicht verkehrt.
Und auch bei einer Ursa mit 12K und tonnenweise Megapixel ist das doch auch nicht sooo verkehrt, die Bezeichnung raw hin oder her.
Ich sehe, oder spüre keinen massgeblichen, oder irgend in einer Form störenden Unterschied zwischen dng und BRaw. Nur ich finde BRaw macht mehr Spass und Ressourcen sparend doch durchaus Sinn beim arbeiten. ;)
Aber das sind nur meine Augen.
Gruss Boris
Ich werde der dunklen Seite widerstehen und mir die Pocket Pro heute nicht kaufen !

Zuletzt geändert von Darth Schneider am So 24 Jan, 2021 18:20, insgesamt 1-mal geändert.




pillepalle
Beiträge: 3610

Re: Informationstheorie - einfach erklärt:

Beitrag von pillepalle » So 24 Jan, 2021 18:20

Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG
Eigene Gedanken müsste man haben...




SonyTony
Beiträge: 107

Re: Informationstheorie - einfach erklärt:

Beitrag von SonyTony » So 24 Jan, 2021 18:49

Alles klar! Wird gemacht! Also immer eine Lampe dazustellen und direkt in die Kamera leuchten. Dann hab ich mehr helle Bereiche. :)
pillepalle hat geschrieben:
So 24 Jan, 2021 18:20
Ihr macht das ja auch alle falsch :P Die zwei zusätzlichen Bits müssen natürlich oben zu den Lichtern dazu kommen, dann hat man auch 100% Nutzsignal :)

VG




Jott
Beiträge: 18942

Re: Informationstheorie - einfach erklärt:

Beitrag von Jott » Mo 25 Jan, 2021 06:36

„ Natürlich ist im Idealfall sicher 10bit Auflösung besser als 8 bit Auflösung.
In diesem Idealfall würde die Datenrate eben ca 1/4 höher.“

Höhere Mathematik?




Whazabi
Beiträge: 58

Re: Informationstheorie - einfach erklärt:

Beitrag von Whazabi » Mo 25 Jan, 2021 15:23

Naja also diese 8bit vs 10bit Thematik ist doch relativ einfach zu ermitteln.
Angenommen der Sensor liefert mehr als 10 stops Dynamik, brauch ich entweder 10+ bit oder log oder beides. Wenn es weniger ist dann brauch ich auch nicht so genau auflösen.

Wie viel Dynamik der Sensor liefern kann hängt sowohl von der Kamera, als auch vom Motiv ab.
Wenn ich kaum Kontrast hab, dann kann ich mir die höhere Datenrate schenken.
Aber schlechter wird das Ergebnis dadurch nicht. Im schlimmsten Fall hab ich halt die zusätzliche Datenrate vergeudet, um mein Rauschen detaillierter zu speichern ;)




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Nikon Z6/Z7 II-Kameras - Neue Firmware, neues Movie Kit und Blackmagic RAW
von iasi - Sa 18:29
» DJI FPV: Neue FPV-Drohne mit OcuSync 3.0 ist bis zu 140 km/h schnell
von TomStg - Sa 17:56
» Was schaust Du gerade?
von ruessel - Sa 17:56
» Lagerung der Akkus, brandgefährlich?
von Pianist - Sa 17:55
» Aufschlussreiches Golem-Interview zu 20 Jahren VLC-Player
von dosaris - Sa 16:26
» Da Vinci Resolve V14 +++ Audioformat
von cantsin - Sa 16:21
» Neue Mittelklasse GPU von AMD - Radeon RX 6700XT
von Bluboy - Sa 15:57
» Wie unbedeutend...
von markusG - Sa 13:53
» KEP 59 1A Wölfe in Berlin
von Heinrich123 - Sa 12:36
» Neue ARRI Kamera vorgestellt: AMIRA Live - für Broadcast Einsätze
von rdcl - Sa 6:13
» Blackmagic Pocket Cinema Camera 6K Pro - mit integriertem ND-Filter und optionalem Sucher
von roki100 - Fr 23:16
» Aufbau VR-Studio / 3D-Visualisierung
von Evlmnkey - Fr 22:58
» Sirui kündigt anamorphotisches Weitwinkel-Objektiv 35mm F/1.8 1.33x an
von roki100 - Fr 21:39
» Netflix Damengambit: Einblicke in den guten Ton
von pillepalle - Fr 21:37
» Nikon entwickelt 1 Zoll 4K-Sensor mit 18 -22 Blendenstufen
von pillepalle - Fr 21:07
» Google gibt Virtual Reality auf
von prime - Fr 20:35
» Premiere / Ae Codec 8bps.mov
von Jott - Fr 19:47
» Asynchron nach Export
von dienstag_01 - Fr 17:05
» Low Angle View - Das 20. Jahrhundert von unten betrachtet
von 7River - Fr 17:04
» Z6 oder Z6 II für überwiegend FullHD - Frage eines Newbies
von Rohschnitzer21 - Fr 16:41
» Formula 1: Drive to Survive - Staffel 3 | Offizieller Trailer | Netflix
von Funless - Fr 16:29
» Vegas Stream:Neue Live-Streaming Software mit Integration in Vegas Pro
von slashCAM - Fr 15:27
» Anpassung an mobile User
von TomWI - Fr 14:39
» Latenz bei Sennheiser AVX-MKE2
von rush - Fr 13:13
» Media Offline
von oove2 - Fr 13:09
» Verkaufe: IFOOTAGE Mini Crane M1 III, Kamera Kran, Jib, komplett mit Tasche
von panalone - Fr 12:35
» Sony PXW400 parallel auf beide SxS aufnehmen
von acrossthewire - Fr 12:12
» Nikon NX-Studio: Kostenlose Bild- und Videobearbeitungssoftware inkl. Metadaten-Support
von Friesenherd - Fr 10:30
» Neue Phantom mit 76,000fps und BSI Sensor
von pillepalle - Fr 8:18
» Schnitt- und Compositing-Trends 2030 - Videoanwendungen im nächsten Jahrzehnt
von Jalue - Fr 6:22
» RØDE Wireless Go II: kompakte Lösung für drahtlosen 2-Kanal Videoton mit zwei Sendern
von Manuell - Do 23:15
» Mikrofon-Adapterring für Camcorder gesucht
von srone - Do 23:09
» PL Mount Adapter / Umbau
von acrossthewire - Do 18:13
» Bemerkenswerter Reallife Test eines Käufers der Skydio 2 Drohne
von carstenkurz - Do 17:51
» DIY - Rüssel MEMS Mikrofon(e)
von ruessel - Do 16:05
 
neuester Artikel
 
Schnitt- und Compositing-Trends 2030

Welche Entwicklungen darf man bei Schnitt- und Compositing-Anwendungen in den nächsten 10 Jahren erwarten? Ein paar Trends zeichnen sich jedenfalls schon deutlich ab... weiterlesen>>

Sony FX3 - Praxistest

Wir hatten bereits Gelegenheit zu einem ausführlichen Test der neuen Sony FX3 in der Praxis und haben uns vor allem die Ergonomie, den Autofokusbetrieb bei 200mm f2.8 (!), die Hauttonreproduktion inkl. LOG/LUT, Cinetone und allen Farbprofilen, die starke Zeitlupenfunktion, den Akkuverbrauch, die Stabilisierungsleistung uvm. angeschaut: Ist die Sony FX3 die bessere A7S III? weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...