Infoseite // Neuronale Bildkompression anschaulich demonstriert

Newsmeldung von slashCAM:



Von der ETH Zürich kommt ein hochinteressantes Paper über "extrem gelernte Bildkomprimierung" mit neuronalen Netzen. Das wirklich spannende kann man dabei auf der verlink...



Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Neuronale Bildkompression anschaulich demonstriert



Antwort von WoWu:

Das ist das alte Problem, auf das auch hier genügend 4K Enthusiasten reinfallen:
Inhalt ... egal, hauptsache scharf.



Antwort von cantsin:

Das Vergleichstool auf der Seite der ETH ist schon ein Hammer. Nicht nur, dass die Deep Learning/Neuronale Netze-basierte Kompression noch ein ansehnliches Bild zeigt, wo bei allen klassischen komprimierten Bildformaten nur noch Pixelbrei übrigbleibt. Sondern auch: Im Vergleich des künstlich-intelligent komprimierten Bilds mit dem Original stimmt bis auf den Gesamteindruck eigentlich nichts mehr - das Auto, die Architektur des Gebäudes, die Pflanzen am Straßenrand etc.

Wir kriegen dann wirklich "alternative Fakten", "post-truth" und "fake news" als Datenkompressionsverfahren...



Antwort von Jott:

Behauptet wowu wirklich immer noch, 4K-Kameras würden so was seit Jahren machen? Also Bildinhalte künstlich ersetzen, weil 4K pkysikalisch gar nicht geht? Grotesk.



Antwort von WoWu:

cantsin hat geschrieben:
Das Vergleichstool auf der Seite der ETH ist schon ein Hammer. Nicht nur, dass die Deep Learning/Neuronale Netze-basierte Kompression noch ein ansehnliches Bild zeigt, wo bei allen klassischen komprimierten Bildformaten nur noch Pixelbrei übrigbleibt. Sondern auch: Im Vergleich des künstlich-intelligent komprimierten Bilds mit dem Original stimmt bis auf den Gesamteindruck eigentlich nichts mehr - das Auto, die Architektur des Gebäudes, die Pflanzen am Straßenrand etc.

Wir kriegen dann wirklich "alternative Fakten", "post-truth" und "fake news" als Datenkompressionsverfahren... Hat aber den Vorteil, dass man kein gutes Objektiv mehr braucht und Referenzbilder aus Google Earth nimmt. ;-)

Und Ki kriegt das sicher auch noch hin, sich die selbst rauszusuchen, bzw. GPS Metadaten sind da gern hilfreich.



Antwort von cantsin:

Vor Jahren gab's in der c't mal einen Aprilscherz über einen neuartigen, hocheffizienten Audiokompressionsalgorithmus auf der Basis von kompositorischen Redundanzen und sich wiederholenden Motiven in Chart-Popmusik. Im Prinzip ist dieser Scherz heute KI-Realität und macht das ETH-Verfahren genau das, nur mit Bilddaten. (Wahrscheinlich könnte man es auch auf Musik übertragen. Dann würde z.B. eine Stimme oder ein Instrument völlig anders klingen, der Song als solcher aber intakt bleiben.)



Antwort von WoWu:

Tja.
Nur Einige können solche Entwicklungen eben immer noch nicht einordnen und glauben immer noch daran, dass das, was sie sehen, das war, was sie aufgenommen haben, obwohl SR nun schon an zahlreichen Beispielen gezeigt hat, dass die Bilder gar nicht mehr real sondern nur noch "scharf" sind.
Der Glaube stirbt eben zuletzt.



Antwort von cantsin:

WoWu hat geschrieben:
Nur Einige können solche Entwicklungen eben immer noch nicht einordnen und glauben immer noch daran, dass das, was sie sehen, das war, was sie aufgenommen haben, obwohl SR nun schon an zahlreichen Beispielen gezeigt hat, dass die Bilder gar nicht mehr real sondern nur noch "scharf" sind. Wobei die ETH-Deep Learning-Beispiele noch viel weiter gehen als SuperResolution, weil da ja die Bildinformation aus externen Daten bzw. Trainingssets rekonstruiert wird und nicht mehr als den kombinierten Informationen der aufgenommenen Bilder. Für letztere hat Nvidia gute Beispiele (im Vergleich "Ours" und "Ground Truth")


zum Bild

http://research.nvidia.com/publication/ ... er-Resolve

Das obige Beispiel ist wohl, was wir heute als Technik in Kameras haben. Mit der ETH-Technik hingegen kann man theoretisch 4K aus 320p extrapolieren.



Antwort von WoWu:

Danke für den Link.
Der File-Link in dem Paper funktioniert leider nicht.

iccv2017_gan_super_deblur.pdf

Gibt es da noch einen andern Link?
Edit
Ich seh grad, da ist ja ne riesen Research Area drin ... das ist ja wirklich gut.






Antwort von cantsin:

WoWu hat geschrieben:
Der File-Link in dem Paper funktioniert leider nicht.

iccv2017_gan_super_deblur.pdf

Gibt es da noch einen andern Link? http://faculty.ucmerced.edu/mhyang/pape ... deblur.pdf



Antwort von MK:

Von Xerox bereits 2005 unfreiwillig erfunden :D

https://www.heise.de/tp/features/Xerox- ... 61586.html



Antwort von Jott:

Spannender Research. Aber mal richtig lesen und vor allem das Fazit (Rechenzeiten, Versagen bei allgemeinen Motiven ohne Datenbanktraining). Das hat nichts mit Videotechnik/Bewegtbildern/Film zu tun - da haben wir dummerweise ausschließlich unvorhersehbare beliebige Motive und nur Millisekunden Zeit. Eine Videokamera arbeitet bekanntlich realtime. Und schon gar nicht mit nur 50x50 Pixeln.

wowu „bewies“ den Einsatz von Super Resolution jahrelang (immer noch?) mit der Behauptung, es gebe bei 4K keine Tiefenunschärfe. Weil die vermuteten Algorithmen dummerweise nicht kapieren, dass unscharfe Bildbereiche ja auch gewollt sein können. Ist natürlich Quark und kann nur von jemandem kommen, der noch nie eine 4K-Kamera in der Hand hatte. Einmal bei einer beliebigen Kamera durch den Sucher gucken und mit Tele und offener Blende ein Blümchen „freistellen“. Oder noch einfacher: am Fokus drehen, ein bisschen unscharf stellen. Und schon löst sich die Theorie in Luft auf. Von wegen „immer alles scharf von vorne bis hinten“. Und da gibt es auch keinen Unterschied zwischen SD, HD, 4K, 6K, 8K ... egal mit welcher Kamera, alles verhält sich völlig normal.



Antwort von mash_gh4:

was ich wirklich nicht verstehen kann, an all dieser panik bzgl. derartiger neuer bildverarbeitungsansätze, wie sie WoWu hier so wunderbar beispielhaft insziniert, ist die tatsache, das wir es hier ja eigentlich nur mit "Bildern" zu tun haben, nicht aber zwingend gleich mit irgendwelchen technischen lösungen, irgendwas in möglichst unverfälschter und direkter weise mittels physikalischer anordnungen über den zeitpunkt der ursprünglichen gegebenheiten hinaus festzuhalten.

ein brennglass, dass den lauf der sonne über den tag hinweg ins papier brennt, dürfte in diesem sinne wohl am ehesten WoWus iealen gerecht werden. für die aber, die ich auch in film und video nur eine weiteren kunstgriff der menschlichen abbildungsbemühungen sehen, der sich so grundsätzlich nicht von irgendwelchen höhlenmalerein, einprägung von figuren in ton, fußbodenmosaike aus lauter bunten steinchen u.ä. unterschieden. im gegenteil, diese heutigen techniken, bilder mit komplizierten apperaturen und mustern ausgesprochen flüchtigen elektrischen od. magnetischen ladungszuständen festzuhalten, scheint mir derart fragil und einseitig, dass sie vermutlich von viel kürzerer nutz- und bewahrensdauer sein wird als all diese anderen genannten techniken.

spannender ist schon eher, wie es um dieses wechselspiel zw. technischem abbildungsinstrumentarium und dem gestalterischen bemühen der menschen bestellt ist. die geschichte der perspektivischen darstellung in der bildenden kunst, ist dafür ein wunderbares beispiel. bekanntlich gibt es in diesem zusammenhang ja nicht nur eine einzige ideale abbildungsmöglichkeit od. gar eine, die tatsächlich unserer unvermittelten wahrnehmung ganz besonders nahe kommen würde, sondern die entsprechende entwicklung war immer viel stärker von diversen ersonnenen "konventionen" od. den begleitenden folgen irgendwelcher, ursprünglich ganz primitiver, technischer hilfsmittel geprägt. irgendwelche winkelmessungen und optische raster, die man zur hilfe zog, kennen wir zwar, aber so richtig ins kippen ist es erst mit der fotografie gekommen. ein wunderbares beispiel. dass vielen bekannt sein dürfte, sind die bilder von edgar degas. wo die verzerrungen der damaligen fotobjektive, aber auch diese determiniertheit duch einen einzigen gegeben aufnahmeblickwinkel plötzlich von der fotografie auf die malerei zurückübertragen werden sollten -- einem neuem medium also endgültig die vorherrschaft über den blick durch das auge einräumen sollten.

natürlich finde ich es auch ganz spannend, was sich da momentan an einschneidenden paradigmatischen änderungen in der welt der software bzw. computeranwendung anbspielt, trotzdem würde ich es lieber von irgendwelchen völlig unhaltbaren und kurzsichtige "abbilddungs"-glauben lösen, und statt dessen lieber die tatsächlichen eigenheiten und charakteristiken dieser herangehensweise studieren.

es ist nämlich nicht einfach so, dass hier nur bestehende vorgefunde eindrücke zu einem bild zusammengesetzt werden od. wie im falle von JBIG2 in OCR-ähnlicher verwechslung ausgetauscht werden. das wirklich interessante neue an derartigen ansätzen sehe ich eher darin, wie sehr allgemeine "erlernte" abstraktion mittels autoencodern wieder zurück in ein erstaunlich plausibles ganzes zurückübersetzt werden. das es dabei anderen gesetzmäßigkeiten der "beschreibung" folgt, braucht nicht weiter zu verwundern. würde man einen maler einen stift in die hand drücken, würde sein bild ja auch immer völlig anders aussehen als eine fotografie. nichts desto trotz würde er evtl. mit ein paar wenigen strichen bereits etwas herausheben und wiedergeben können, wie es auch ein geübter fotograf niemals zu vollbringen vermag.

wenn man also tatsächlich sinnvoll über derartige ansätze diskutieren will, sollte man vielleicht eher diesen aspekt der u.u. durchaus sinnvoll nutzbaren abstraktion im auge behalten. als reine kompressionslösung gem. objektiver rekonstruktion schneiden derartige ansätze bisher weiterhin realtiv unbefriedigend ab. in dem punkt, sind jene techniken, die nur ein paar ganz elementare psychoakustische- od. visuelle charakteristiken der menschlichen sinnesorgane heranziehen, um daten in kaum wahrnehmbarer weise zu verdichten, weiterhin viel zweckmäßiger. aber diese andern techniken faszinieren eben dadurch, dass sie nicht so so sehr nur ein diese paar sehr simplen parameter der optimierung hin getrimmt sind, sondern vielmehr das ganze feld der jeweiligen empirischen repräsentation zu verarbeiten bzw. eben zu verdichten verstehen. genau das unterscheidet ja ML-techniken tatsächlich von div. deduktiv regelgeleiteten entscheidungssysteme od. eben domainspezifisch vorgegebenen verabeitungs- bzw. hier speziell: komprimierungslösungen. das man das zeug nicht mehr mit alleine nur mit expertenwissen füttert, sondern eben wirklich anhand von unmengen an empirischen beispielmaterial selbst eine befriedigende lösung suchen lässt, ist in meinen augen das wirklich neue und gänzlich andersartige an diesen techniken.



Antwort von WoWu:

... mal wieder einer Deiner zahlreichen Feuilleton-Beiträge.
Wenig Inhalt und viel Geschwätz.
Dabei regst Du Dich ständig darüber auf, wie schwierig es doch ist, Farben richtig darzustellen oder so ähnlich.
Aber ist schon klar, Du liest ja Deine Beiträge auch nicht.



Antwort von mash_gh4:

WoWu hat geschrieben:
... mal wieder einer Deiner zahlreichen Feuilleton-Beiträge.
Wenig Inhalt und viel Geschwätz. wirf vielleicht einfach einen kurzen blick auf diese kleine fingerübung und die dortigen komentare bzgl. 'transfer learning':

https://mur-at-public.gitlab.io/orchide ... ation.html

und dann zeig mir, was du einzubringen hast, das dich auch nur ansatzweise zu einem sachkundigen urteil in diesen dingen befähigen würde...

aber du hast schon recht, die wesentlichsten errungenschaften, auf die wir uns hier technisch bei der umsetztung auch heute noch stützen, wurden in der tat von einem geschwätzigen philosphen namens gottfried wilhelm leibniz ersonnen, und nicht von einem zünftigen schmied oder gar schmiedl. ;)



Antwort von Frank Glencairn:

Das ganze ist ne nette Fingerübung, die zeigt, daß man mit ner groß genugen Datenbank von Bildern, ein unscharfes Bild mit ner zusammen geklebten Collage so halbwegs glaubwürdig irgendwie nachstellen kann - nette Idee, aber zu nix zu gebrauchen.



Antwort von cantsin:

"Frank Glencairn" hat geschrieben:
Das ganze ist ne nette Fingerübung, die zeigt, daß man mit ner groß genugen Datenbank von Bildern, ein unscharfes Bild mit ner zusammen geklebten Collage so halbwegs glaubwürdig irgendwie nachstellen kann - nette Idee, aber zu nix zu gebrauchen. Ja, wenn man dann aber mit etwas besseren Bilddaten arbeitet und alle Tricks anwendet, die heute in der "computational photography" (bzw. im algorithmischen Hochrechnen von Bildern) auf Smartphone-Hardware möglich sind, kommt sowas heraus:

https://petapixel.com/2018/04/20/huawei ... m-stunned/



Antwort von WoWu:

"Frank Glencairn" hat geschrieben:
Das ganze ist ne nette Fingerübung, die zeigt, daß man mit ner groß genugen Datenbank von Bildern, ein unscharfes Bild mit ner zusammen geklebten Collage so halbwegs glaubwürdig irgendwie nachstellen kann - nette Idee, aber zu nix zu gebrauchen. Eben nicht ... denn solche Beispiele zeigen selbst dem Blindesten auf, wie solche Algorithmen funktionieren und welche Auswirkungen dies auf Bildinhalte hat, in denen Bilddetails nämlich einfach weggelassen werden und durch (entweder) irgendwas aus der Library ersetzt werden, oder einfach ganz zugespixelt.
Das Ergebnis ist dann eben ein gering aufgelöstes Bild in hoher Schärfe, was man ebensogut aus SD fabrizieren könnte.
Insofern ist es eben nur für die eine „Fingerübung“ die schon in der Vergangenheit keinen Unterschied zwischen Auflösung und Schärfe gesehen haben.

@Cantsin
..danke für den Link.
wobei sich auch die Frage der Lichtempfindlichkeit mit den richtigen Bibliotheken bald schon relativiert (ebenso wie die Frage des Weissabgleichs:






Antwort von Jott:

Ich möchte gern mal hören, wie ein kleiner, so unschuldig aussehender 4K-Camcorder (oder ein Dröhnchen) das macht mit dem Ersetzen von Bildmaterial durch eine Library. 60 mal pro Sekunde und zuweilen noch schneller. Und er hat alles Bildmaterial von Google an Bord, der Camcorder. Viele Petabyte. Denn man kann ja auch außerhalb von hyperschnellen WLAN-Netzen filmen, nicht wahr? Echt cool! Vor allem die brachiale Rechenleistung! :-)

Die Möglichkeit, dass die Geräte das unheimliche 4K (in Wirklichkeit ja nur lächerliche 8 Megapixel-Bilderserien, eine Fingerübung für Digitalkameras seit 15 Jahren) ganz normal hinkriegen, besteht neben kruden Verschwörungstheorien natürlich auch noch. Aber das einzuräumen scheint unglaublich schwer zu fallen ...

Da 4K aufnahmeseitig heute stinknormaler Produktionsstandard ist, bitte auf das Ableugnen des japanischen 8K-TV umsteuern. Das ist zeitgemäßer! :-)



Antwort von muellerbild:

Wer braucht eigentlich hoch komprimierte Dateien von Stills?



Antwort von cantsin:

Jott hat geschrieben:
Ich möchte gern mal hören, wie ein kleiner, so unschuldig aussehender 4K-Camcorder (oder ein Dröhnchen) das macht mit dem Ersetzen von Bildmaterial durch eine Library. 60 mal pro Sekunde und zuweilen noch schneller. Und er hat alles Bildmaterial von Google an Bord, der Camcorder. Viele Petabyte. Denn man kann ja auch außerhalb von hyperschnellen WLAN-Netzen filmen, nicht wahr? Echt cool! Vor allem die brachiale Rechenleistung! :-) Macht er natürlich nicht, wenn er nicht das neue Huawei-Smartphone ist. (Heute früh ein Plakat an der Straßenbahnhalte gesehen, das dessen "künstliche Intelligenz-Kamera" bewirbt.) Was der 4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution.



Antwort von WoWu:

muellerbild hat geschrieben:
Wer braucht eigentlich hoch komprimierte Dateien von Stills? Genauso gut könnte man fragen ... wer braucht überhaupt noch Datenkompression.
Ein Blick über den Tellerrand zeigt dann das Ergebnis.



Antwort von Frank Glencairn:

cantsin hat geschrieben:
Was der 4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution. Ja, aber das ist was völlig anderes als ein neues Bild aus einer riesen Datenbank zusammen zu puzzlen, das dann so ähnlich sein soll, wie das, was man eigentlich aufgenommen hat.

Der ganze Sinn dieser Collagen erschließt sich mir im Zeitalter von Megapixel Sensoren sowieso nicht.
Selbst mit nem mittelprächtigen Handy kann man beim besten Willen keine so verpixelten Fotos mehr machen.



Antwort von cantsin:

"Frank Glencairn" hat geschrieben:
cantsin hat geschrieben:
Was der 4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution. Ja, aber das ist was völlig anderes als ein neues Bild aus einer riesen Datenbank zusammen zu puzzlen, das dann so ähnlich sein soll, wie das, was man eigentlich aufgenommen hat. Hat ja auch keiner behauptet. Jott hängt sich da an WoWu auf, weil der von "Rekonstruktionsalgorithmen" spricht. Dieser Terminus bezieht sich aber auch - und erst einmal - nur auf SR. (Selbst temporales Denoising ist schon ein Rekonstruktionsalgorithmus.)

Es ist schon ein running gag auf diesem Forum, dass das Wort "Rekonstruktionsalgorithmus" hier systematisch missverstanden wird.

Wobei allerdings das Einbauen/Rekonstruieren von Bilddetails durch Deep Learning/AI jetzt tatsächlich passiert, aber eben vorerst nur bei den High End-Smartphones, die dafür seit kurzem eigene Koprozessoren (TPUs bzw. NPUs) an Bord haben:

https://medium.com/@Synced/huawei-annou ... f924931291



Antwort von Jott:

cantsin hat geschrieben:
4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution. Nachschärfung schon (kann man meistens abschalten), aber „Super Resolution“? Nope. Begründung siehe oben. Leicht unscharf stellen bleibt leicht unscharf. Absichtlich leicht unscharfe Bildbereiche bleiben leicht unscharf.

Wie wär‘s mal mit einem empirischen Nachweis deiner und wowus Behauptungen? Ihr seid ja immerhin die einzigen, die so was behaupten. Und bitte anstrengen, ich habe ein Diplom in optischer Physik! :-)

Und als Producer, täglich mit 4K umgehend im Gegensatz zu gewissen Wortführern, bin ich schon gleich gar nicht für Märchen empfänglich. Komm, das muss ganz einfach nachzuweisen sein, mit Kamera und Monitor dran. Ich bin gespannt!



Antwort von Frank Glencairn:

Also das Huawei Mate 10 macht trotz "Deep Learning/AI TPU/NPU - blah-blah" Engine, ganz normale Fotos und Clips, die sich von denen meines alten Mate 9 nicht wirklich unterscheiden. ich glaub das ist nur Marketing Bullshit Bingo.

YT ist voll von "Mate 10 vs XYZ" Vergleichen, ich kann da auch nicht wirklich einen signifikanten Unterschied erkennen, den diese Deep Learning/AI Engine angeblich machen soll.

Alles was die NPU auf dem Mate 10 tatsächlich macht, ist daß sie z.B. Essen erkennt und automatisch einen entsprechenden Filter drauf legt, während ich das beim Mate 9 noch von Hand machen mußte (was ich allerdings nie gemacht hab, weil der Filter scheiße aussieht).



Antwort von cantsin:

Jott hat geschrieben:
[
Nachschärfung schon (kann man meistens abschalten), aber „Super Resolution“? Nope. https://www.pcworld.com/article/247485/ ... rders.html






Antwort von Frank Glencairn:

Resolve hat auch bis zu 4 x "Super Resolution" - haut einen jetzt auch nicht wirklich von den Socken.



Antwort von WoWu:

SR muss nicht unbedingt drauf stehen, wo SR drin ist.
Außerdem gibt es unterschiedliche Herangehensweisen.



Antwort von cantsin:

"Frank Glencairn" hat geschrieben:
Der ganze Sinn dieser Collagen erschließt sich mir im Zeitalter von Megapixel Sensoren sowieso nicht.
Selbst mit nem mittelprächtigen Handy kann man beim besten Willen keine so verpixelten Fotos mehr machen. Das Problem sind auch weniger die Sensoren, sondern die Optiken, die die Auflösungen nicht schaffen - sowohl die Superzooms in Consumer-Camcordern, als auch die Linsen auf Smartphones.

Kann man selbst bei höherwertigen Optiken testen, z.B. dem Panasonic 14-140mm MFT-Zoom, allerdings nur in Bezug auf Geometrie-, Vignette- und Schärfekorrektur durch die Kamera-Firmware. Wenn man mit dem Ding an einer MFT-Systemkamera (ab GH1) Videos dreht und das Objektiv erst normal mountet und HD-Video dreht, dann die elektronischen Kontakte am Mount abklebt und es mit zuvor eingestellter Blende als manuelles Objektiv mountet und neues Material dreht, erlebt man sein Wunder beim anschließenden Sichten.



Antwort von Frank Glencairn:

Davon sprech ich ja nicht, sondern von diesen Collagen.

Die Panasonic, greift ja nicht bei jedem Bild auf eine gigantische Datenbank zurück, und klebt sich aus Versatzstücken ein eigenes Foto zusammen, weil die Optik nicht gut genug ist.



Antwort von cantsin:

"Frank Glencairn" hat geschrieben:
Also das Huawei Mate 10 macht trotz "Deep Learning/AI TPU/NPU - blah-blah" Engine, ganz normale Fotos und Clips, die sich von denen meines alten Mate 9 nicht wirklich unterscheiden. ich glaub das ist nur Marketing Bullshit Bingo. I.d.R. sieht man es nicht. Ich hatte mal zwei Studenten, die sich eine Woche lang den Spaß gemacht haben, die computational imaging-Algorithmen eines aktuellen Google Pixel-Smartphones auszutricksen. (Kann die Fotos hier leider nicht teilen.) In bestimmten Situationen versagen die, und dann sieht man, dass die Kameras intern Bilderreihen aufnehmen und zu besser aussehenden Einzelbildern (durch HDR-Belichtungsreihentricks, temporal denoising etc.) zusammenrechnen - weil es Stitching- und andere Artefakte gibt. Das heisst aber auch, dass man nicht mehr sicher weiss, ob ein Foto wirklich einen genauen Moment abbildet oder ob da aus der Zeitspanne von ungefähr einer Sekunde Teilbilder aus verschiedenen Frames kombiniert werden.

Hätte Zapruder die Kennedy-Ermordung also mit einem heutigen Highend-Smartphone aufgenommen, wäre die forensische Beweiskraft der Bilder (wenn es z.B. um einen Kugeleinschlag ginge) schon ernsthaft eingeschränkt.



Antwort von cantsin:

"Frank Glencairn" hat geschrieben:
Davon sprech ich ja nicht, sondern von diesen Collagen.

Die Panasonic, greift ja nicht bei jedem Bild auf eine gigantische Datenbank zurück, und klebt sich aus Versatzstücken ein eigenes Foto zusammen, weil die Optik nicht gut genug ist. Mit besserer Elektronik bzw. AI-Algorithmen könnte sie aber erkennen, ob sie z.B. einen Grashalm, die Oberfläche eines Steins oder Haut nachschärft und da jeweils verschiedene Verfahren einsetzen, einschließlich der Rekonstruktion/des Hinzufügens nicht mehr aufgelöster Texturdetails. Dafür ist ja keine gigantische Datenbank nötig, sondern nur jeweils relativ allgemeine Texturmodelle für Haut, Blätter, Holz, Stein etc. Bin mir ziemlich sicher, dass wir solche Techniken bald in Kameras haben, wenn sie nicht schon in den Smartphones stecken."

EDIT: Und wir haben die Chose ja schon umgekehrt mit der Haut-Weichzeichnung bei A7-Kameras.



Antwort von Jott:

cantsin hat geschrieben:
Jott hat geschrieben:
[
Nachschärfung schon (kann man meistens abschalten), aber „Super Resolution“? Nope. https://www.pcworld.com/article/247485/ ... rders.html Ach bitte. Den hatte dein Mentor damals vor sechs Jahren (!) auch schon jubelnd ausgegraben. Sony nutzte den Begriff hier als Marketingblabla für was anderes.

Versuch: 4K-Camcorder - AX53 oder AX100 oder so was auf‘s Stativ (damit die „Super Resolution“ gar nicht erst auf die Idee kommt, aus mehreren leicht verschiedenen Bildern etwas hochzurechnen). An ein Blümchen heranzoomen. Je mehr Tele, desto mehr Tiefenunschärfe. Was ja nicht sein darf laut wowu, ist aber trotzdem so. Geschenkt. Jetzt gaaaanz langsam zoomen. Macht es irgendwo „flupp“, eine Stelle, wo die „Super Resolution“ einsetzt und plötzlich etwas scharf wird? Nö. Wieder ranzoomen, am Fokusring drehen. Macht es irgendwann „flupp“? Nein, natürlich nicht. Noch besser: langsam schwenken! Das Einsetzen eines Algorithmus müsste man sehen!

Machen, aufnehmen, beweisen. Mit Bewegtbildern und live natürlich, es geht ja um Video. Und nochmal: welcher Algorithmus sollte gewollte von ungewollter, gestalteter Unschärfe auseinander halten können, und wie?

Die geometrische Linsenkorrektur ist übrigens kein Zauberwerk. Das passiert ja nicht „intelligent“, sondern auf der Basis hinterlegter Formeln, quasi ein Korrektur-LUT. Wird schon ewig so gemacht, Kamera und Objektiv müssen sich nur „kennen“.



Antwort von cantsin:

Jott hat geschrieben:
Versuch: 4K-Camcorder - AX53 oder AX100 oder so was auf‘s Stativ (damit die „Super Resolution“ gar nicht erst auf die Idee kommt, aus mehreren leicht verschiedenen Bildern etwas hochzurechnen). An ein Blümchen heranzoomen. Je mehr Tele, desto mehr Tiefenunschärfe. Was ja nicht sein darf laut wowu, ist aber trotzdem so. Geschenkt. Jetzt gaaaanz langsam zoomen. Macht es irgendwo „flupp“, eine Stelle, wo die „Super Resolution“ einsetzt und plötzlich etwas scharf wird? Nö. Wieder ranzoomen, am Fokusring drehen. Macht es irgendwann „flupp“? Nein, natürlich nicht. Noch besser: langsam schwenken! Das Einsetzen eines Algorithmus müsste man sehen! Mir geht es nicht um Super Resolution im Sinne von "Alles scharf vom Vorder- bis Hintergrund" (was gar nicht geht, wenn der Hintergrund wirklich unscharf ist - dann kann auch ein Algorithmus da nicht mehr viel rausholen), sondern um Beispiele wie dieses hier, das ich schon öfter mal hier gepostet habe:

http://www.filmkorn.org/zwischen-den-ze ... ilm-sehen/

Das Beispiel zeigt, wie man aus Super 8-Material per SR HD-Video macht. (Der Autor arbeitet bei Adobe.)



Antwort von Jott:

Musste ja kommen, ich hab‘s schon vermisst. Das ist Post Production, nicht live (60x pro Sekunde), und das Motiv hat keine Schärfestaffelung. Andere Baustelle.

Dass Handies übrigens bei Fotos ziemlich rumrechnen, merkt man daran, dass es dauern kann vom Klick bis zum Bild auf dem Display. Wir reden hier aber von Video ohne Chance für Denkpausen.

Spricht übrigens für dich, das du weißt, dass das nicht geht mit der künstlichen Komplettschärfe. Vielleicht spricht sich‘s ja rum.






Antwort von cantsin:

Jott hat geschrieben:
cantsin hat geschrieben:

https://www.pcworld.com/article/247485/ ... rders.html Ach bitte. Den hatte dein Mentor damals vor sechs Jahren (!) auch schon jubelnd ausgegraben. Sony nutzte den Begriff hier als Marketingblabla für was anderes. Tja, und hier wird behauptet (in einem Artikel von 2015), dass genau diese Sony-Technik bereits Deep Learning-basierte Objektrekonstruktion verwendet:

"What actually lies powers Clear Image Zoom technology is as surprising as it is impressive. There is a database of common objects held in the camera, and the processor uses this data to recognise objects in the scene, and to help it to zoom more accurately.

Let’s say that the camera recognises that the object in a scene is a bicycle and not, for example, a fish. It therefore knows that the two round objects are wheels with spokes. Knowing this, it can recreate the scene, based on what it thinks it is, more accurately, at a higher level of zoom.

You probably realise that none of this is trivially easy. In fact, to do this, you need elements of artificial intelligence and machine vision. It’s not the sort of thing you’d expect to find in a camera."

https://www.redsharknews.com/technology ... image-zoom

Ich lasse das mal so stehen. Hier ist Sonys Demo der Technologie im semiprofessionellen HXR-NX3-Camcorder:

https://youtu.be/DfjnnK06DiU?t=106



Antwort von WoWu:

Ich frage mich nur, wer sich noch (in dem Segment) Kameras kauft, wenn es identische Bildoutputs für 734€ gibt .... und man damit dann auch noch telefonieren kann.

https://geizhals.de/huawei-p20-pro-dual ... 93668.html



Antwort von Jott:

Das selektive/verfälschende Zitieren ist doch eigentlich wowus Spezialität? À la „Red kann nur HD“? Richtig gelesen in dem Red Shark-Artikel:

„It allows you to enlarge the image with close to the original image quality when shooting still images.“

Von Video ist nicht die Rede. Und es ist Spekulation und Hörensagen. Am Ende:

„I just wanted to say that all of this is based on snatched conversations with Sony employees. I can’t be sure that I’ve got it completely right.“

wowu würde sagen: wer seine Informationen aus Blogs bezieht, dem ist nicht zu helfen. Das Internet hilft nur dem, der alles glaubt.

Bei 60 fps ist keine Zeit für so was, selbst wenn es diese „Datenbank“ in kleinen Kameras gäbe. Und das Enhancing (oh, ein Fahrrad! Speichen nachmalen!) würde nicht von Frame zu Frame exakt gleich funktionieren, das gäbe Artefakte in der Bewegung ohne Ende.

Beim digitalen Reinzoomen wird lediglich nach punktuell starken Kontrasten gesucht, und diese werden auf gut Glück selektiv ein wenig verstärkt. Das macht Sony für Digitalzoom auch bei Videos quick and dirty schon länger, das ist aber ein „doofer“ Algorithmus, nix Deep Learning-Bla Bla. Digitales Reinzoomen macht obendrein keiner ernsthaft, das ist das erste, was man nach dem Kauf im Menü abschaltet. Und mit 4K, dem Haßobjekt, hat das schon mal gar nichts zu tun.

Aber lassen wir das: wenn euch googeln nach dem Begriff „Super Resolution“ und solche Treffer reichen zum Glück und zur Untermauerung eurer Wunschtheorien, dann ist das doch schön. Aber dann bitte nicht das Mäntelchen „Wissenschaft“ umhängen.

Was die „Wissenschaft“ tut, war das Eingangsthema dieses Threads. Versuche mit wackeligen Ergebnissen trotz langer Rechenzeiten und geballter Weißkittelpower. Dass Techniken, die im Forschungslabor schon an Standbildern mit 50x50 Pixeln scheitern, längst in Consumer-Camcordern für die künstliche Erzeugung von 4K-Clips zuständig seien, ist nur eine Gute-Nacht-Geschichte. Das sollte eigentlich jedem klar sein.



Antwort von cantsin:

Jott hat geschrieben:
Das selektive/verfälschende Zitieren ist doch eigentlich wowus Spezialität? À la „Red kann nur HD“? Richtig gelesen in dem Red Shark-Artikel:

„It allows you to enlarge the image with close to the original image quality when shooting still images.“

Von Video ist nicht die Rede. Und es ist Spekulation und Hörensagen. Das ist ein Zitat aus einem Sony-Text, der sich in der Tat auf eine Fotokamera bezog. Zugleich baut Sony eine Technologie mit selbigen Namen in Videokameras.

Aber wenn Du genau gelesen hättest, wäre Dir aufgefallen, dass ich den RedShark-Artikel als pure Behauptung/Spekulation zitiert habe.



Antwort von WoWu:

Es gibt Leute hier im Forum, die schon seit Jahren die technische Entwicklung verschlafen.
Warum sollte man sie jetzt aufwecken?
Das führt nur zu den bekannten Schockzuständen.

https://pro.sony/de_DE/pdf/super-resolu ... -processor

https://infoscience.epfl.ch/record/8971 ... eKAS07.pdf;

http://www.dtic.mil/get-tr-doc/pdf?AD=ADA460916



Antwort von Jott:

Zwei beliebige Forschungspapiere ohne Praxis- und Videobezug (via Google gefunden, weil "Super Resolution" und "De-Mosaicing" drin vorkommen). Da finden sich sicher noch ein paar Hundert mehr.

Und Sony nannte das Auslesen ihres F65-Sensors mit dem speziellen diagonalen Pattern "Super Resolution", weil ihnen wohl nicht besseres eingefallen ist. Klingt halt gut. Will nur meinen, besseres De-Bayering mit subjektiv höherer Auflösung (obwohl es nur ein 20 MP-Sensor war) durch die ungewöhnliche 45Grad-Anordnung des Patterns. Und besseres Downsampling zu 4K und drunter. Kann man nachlesen. War ein erster früher, durchaus umstrittener, bereits überholter Versuch, heute gibt es ja schon Broadcast-Kameras mit drei richtigen 8K-Sensoren via Prisma (soviel zum Thema Entwicklungen verschlafen), wodurch überhaupt nicht mehr rumgebayert werden muss.

Und so weiter.

Aber bitte, es wird schon jemand dran glauben, dass ausgerechnet die billigsten Kameras wahre High Tech-Boliden sind und Dinge können, die nicht mal im Ansatz im Labor funktionieren (Eingangsthema). So sei es.