News-Kommentare Forum



Neuronale Bildkompression anschaulich demonstriert



Kommentare / Diskussionen zu aktuellen Newsmeldungen auf slashCAM
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

Neuronale Bildkompression anschaulich demonstriert

Beitrag von slashCAM »


Von der ETH Zürich kommt ein hochinteressantes Paper über "extrem gelernte Bildkomprimierung" mit neuronalen Netzen. Das wirklich spannende kann man dabei auf der verlink...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Neuronale Bildkompression anschaulich demonstriert



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

Das ist das alte Problem, auf das auch hier genügend 4K Enthusiasten reinfallen:
Inhalt ... egal, hauptsache scharf.
Gute Grüße, Wolfgang

E-Book:
www.provideome.de



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Das Vergleichstool auf der Seite der ETH ist schon ein Hammer. Nicht nur, dass die Deep Learning/Neuronale Netze-basierte Kompression noch ein ansehnliches Bild zeigt, wo bei allen klassischen komprimierten Bildformaten nur noch Pixelbrei übrigbleibt. Sondern auch: Im Vergleich des künstlich-intelligent komprimierten Bilds mit dem Original stimmt bis auf den Gesamteindruck eigentlich nichts mehr - das Auto, die Architektur des Gebäudes, die Pflanzen am Straßenrand etc.

Wir kriegen dann wirklich "alternative Fakten", "post-truth" und "fake news" als Datenkompressionsverfahren...



Jott
Beiträge: 21802

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Jott »

Behauptet wowu wirklich immer noch, 4K-Kameras würden so was seit Jahren machen? Also Bildinhalte künstlich ersetzen, weil 4K pkysikalisch gar nicht geht? Grotesk.



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

cantsin hat geschrieben: So 22 Apr, 2018 19:49 Das Vergleichstool auf der Seite der ETH ist schon ein Hammer. Nicht nur, dass die Deep Learning/Neuronale Netze-basierte Kompression noch ein ansehnliches Bild zeigt, wo bei allen klassischen komprimierten Bildformaten nur noch Pixelbrei übrigbleibt. Sondern auch: Im Vergleich des künstlich-intelligent komprimierten Bilds mit dem Original stimmt bis auf den Gesamteindruck eigentlich nichts mehr - das Auto, die Architektur des Gebäudes, die Pflanzen am Straßenrand etc.

Wir kriegen dann wirklich "alternative Fakten", "post-truth" und "fake news" als Datenkompressionsverfahren...
Hat aber den Vorteil, dass man kein gutes Objektiv mehr braucht und Referenzbilder aus Google Earth nimmt. ;-)

Und Ki kriegt das sicher auch noch hin, sich die selbst rauszusuchen, bzw. GPS Metadaten sind da gern hilfreich.
Gute Grüße, Wolfgang

E-Book:
www.provideome.de



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Vor Jahren gab's in der c't mal einen Aprilscherz über einen neuartigen, hocheffizienten Audiokompressionsalgorithmus auf der Basis von kompositorischen Redundanzen und sich wiederholenden Motiven in Chart-Popmusik. Im Prinzip ist dieser Scherz heute KI-Realität und macht das ETH-Verfahren genau das, nur mit Bilddaten. (Wahrscheinlich könnte man es auch auf Musik übertragen. Dann würde z.B. eine Stimme oder ein Instrument völlig anders klingen, der Song als solcher aber intakt bleiben.)



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

Tja.
Nur Einige können solche Entwicklungen eben immer noch nicht einordnen und glauben immer noch daran, dass das, was sie sehen, das war, was sie aufgenommen haben, obwohl SR nun schon an zahlreichen Beispielen gezeigt hat, dass die Bilder gar nicht mehr real sondern nur noch "scharf" sind.
Der Glaube stirbt eben zuletzt.
Gute Grüße, Wolfgang

E-Book:
www.provideome.de



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

WoWu hat geschrieben: Mo 23 Apr, 2018 00:44 Nur Einige können solche Entwicklungen eben immer noch nicht einordnen und glauben immer noch daran, dass das, was sie sehen, das war, was sie aufgenommen haben, obwohl SR nun schon an zahlreichen Beispielen gezeigt hat, dass die Bilder gar nicht mehr real sondern nur noch "scharf" sind.
Wobei die ETH-Deep Learning-Beispiele noch viel weiter gehen als SuperResolution, weil da ja die Bildinformation aus externen Daten bzw. Trainingssets rekonstruiert wird und nicht mehr als den kombinierten Informationen der aufgenommenen Bilder. Für letztere hat Nvidia gute Beispiele (im Vergleich "Ours" und "Ground Truth")

Bild
http://research.nvidia.com/publication/ ... er-Resolve

Das obige Beispiel ist wohl, was wir heute als Technik in Kameras haben. Mit der ETH-Technik hingegen kann man theoretisch 4K aus 320p extrapolieren.



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

Danke für den Link.
Der File-Link in dem Paper funktioniert leider nicht.

iccv2017_gan_super_deblur.pdf

Gibt es da noch einen andern Link?
Edit
Ich seh grad, da ist ja ne riesen Research Area drin ... das ist ja wirklich gut.
Gute Grüße, Wolfgang

E-Book:
www.provideome.de



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

WoWu hat geschrieben: Mo 23 Apr, 2018 01:02 Der File-Link in dem Paper funktioniert leider nicht.

iccv2017_gan_super_deblur.pdf

Gibt es da noch einen andern Link?
http://faculty.ucmerced.edu/mhyang/pape ... deblur.pdf



MK
Beiträge: 4084

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von MK »

Von Xerox bereits 2005 unfreiwillig erfunden :D

https://www.heise.de/tp/features/Xerox- ... 61586.html



Jott
Beiträge: 21802

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Jott »

Spannender Research. Aber mal richtig lesen und vor allem das Fazit (Rechenzeiten, Versagen bei allgemeinen Motiven ohne Datenbanktraining). Das hat nichts mit Videotechnik/Bewegtbildern/Film zu tun - da haben wir dummerweise ausschließlich unvorhersehbare beliebige Motive und nur Millisekunden Zeit. Eine Videokamera arbeitet bekanntlich realtime. Und schon gar nicht mit nur 50x50 Pixeln.

wowu „bewies“ den Einsatz von Super Resolution jahrelang (immer noch?) mit der Behauptung, es gebe bei 4K keine Tiefenunschärfe. Weil die vermuteten Algorithmen dummerweise nicht kapieren, dass unscharfe Bildbereiche ja auch gewollt sein können. Ist natürlich Quark und kann nur von jemandem kommen, der noch nie eine 4K-Kamera in der Hand hatte. Einmal bei einer beliebigen Kamera durch den Sucher gucken und mit Tele und offener Blende ein Blümchen „freistellen“. Oder noch einfacher: am Fokus drehen, ein bisschen unscharf stellen. Und schon löst sich die Theorie in Luft auf. Von wegen „immer alles scharf von vorne bis hinten“. Und da gibt es auch keinen Unterschied zwischen SD, HD, 4K, 6K, 8K ... egal mit welcher Kamera, alles verhält sich völlig normal.



mash_gh4
Beiträge: 4716

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von mash_gh4 »

was ich wirklich nicht verstehen kann, an all dieser panik bzgl. derartiger neuer bildverarbeitungsansätze, wie sie WoWu hier so wunderbar beispielhaft insziniert, ist die tatsache, das wir es hier ja eigentlich nur mit "Bildern" zu tun haben, nicht aber zwingend gleich mit irgendwelchen technischen lösungen, irgendwas in möglichst unverfälschter und direkter weise mittels physikalischer anordnungen über den zeitpunkt der ursprünglichen gegebenheiten hinaus festzuhalten.

ein brennglass, dass den lauf der sonne über den tag hinweg ins papier brennt, dürfte in diesem sinne wohl am ehesten WoWus iealen gerecht werden. für die aber, die ich auch in film und video nur eine weiteren kunstgriff der menschlichen abbildungsbemühungen sehen, der sich so grundsätzlich nicht von irgendwelchen höhlenmalerein, einprägung von figuren in ton, fußbodenmosaike aus lauter bunten steinchen u.ä. unterschieden. im gegenteil, diese heutigen techniken, bilder mit komplizierten apperaturen und mustern ausgesprochen flüchtigen elektrischen od. magnetischen ladungszuständen festzuhalten, scheint mir derart fragil und einseitig, dass sie vermutlich von viel kürzerer nutz- und bewahrensdauer sein wird als all diese anderen genannten techniken.

spannender ist schon eher, wie es um dieses wechselspiel zw. technischem abbildungsinstrumentarium und dem gestalterischen bemühen der menschen bestellt ist. die geschichte der perspektivischen darstellung in der bildenden kunst, ist dafür ein wunderbares beispiel. bekanntlich gibt es in diesem zusammenhang ja nicht nur eine einzige ideale abbildungsmöglichkeit od. gar eine, die tatsächlich unserer unvermittelten wahrnehmung ganz besonders nahe kommen würde, sondern die entsprechende entwicklung war immer viel stärker von diversen ersonnenen "konventionen" od. den begleitenden folgen irgendwelcher, ursprünglich ganz primitiver, technischer hilfsmittel geprägt. irgendwelche winkelmessungen und optische raster, die man zur hilfe zog, kennen wir zwar, aber so richtig ins kippen ist es erst mit der fotografie gekommen. ein wunderbares beispiel. dass vielen bekannt sein dürfte, sind die bilder von edgar degas. wo die verzerrungen der damaligen fotobjektive, aber auch diese determiniertheit duch einen einzigen gegeben aufnahmeblickwinkel plötzlich von der fotografie auf die malerei zurückübertragen werden sollten -- einem neuem medium also endgültig die vorherrschaft über den blick durch das auge einräumen sollten.

natürlich finde ich es auch ganz spannend, was sich da momentan an einschneidenden paradigmatischen änderungen in der welt der software bzw. computeranwendung anbspielt, trotzdem würde ich es lieber von irgendwelchen völlig unhaltbaren und kurzsichtige "abbilddungs"-glauben lösen, und statt dessen lieber die tatsächlichen eigenheiten und charakteristiken dieser herangehensweise studieren.

es ist nämlich nicht einfach so, dass hier nur bestehende vorgefunde eindrücke zu einem bild zusammengesetzt werden od. wie im falle von JBIG2 in OCR-ähnlicher verwechslung ausgetauscht werden. das wirklich interessante neue an derartigen ansätzen sehe ich eher darin, wie sehr allgemeine "erlernte" abstraktion mittels autoencodern wieder zurück in ein erstaunlich plausibles ganzes zurückübersetzt werden. das es dabei anderen gesetzmäßigkeiten der "beschreibung" folgt, braucht nicht weiter zu verwundern. würde man einen maler einen stift in die hand drücken, würde sein bild ja auch immer völlig anders aussehen als eine fotografie. nichts desto trotz würde er evtl. mit ein paar wenigen strichen bereits etwas herausheben und wiedergeben können, wie es auch ein geübter fotograf niemals zu vollbringen vermag.

wenn man also tatsächlich sinnvoll über derartige ansätze diskutieren will, sollte man vielleicht eher diesen aspekt der u.u. durchaus sinnvoll nutzbaren abstraktion im auge behalten. als reine kompressionslösung gem. objektiver rekonstruktion schneiden derartige ansätze bisher weiterhin realtiv unbefriedigend ab. in dem punkt, sind jene techniken, die nur ein paar ganz elementare psychoakustische- od. visuelle charakteristiken der menschlichen sinnesorgane heranziehen, um daten in kaum wahrnehmbarer weise zu verdichten, weiterhin viel zweckmäßiger. aber diese andern techniken faszinieren eben dadurch, dass sie nicht so so sehr nur ein diese paar sehr simplen parameter der optimierung hin getrimmt sind, sondern vielmehr das ganze feld der jeweiligen empirischen repräsentation zu verarbeiten bzw. eben zu verdichten verstehen. genau das unterscheidet ja ML-techniken tatsächlich von div. deduktiv regelgeleiteten entscheidungssysteme od. eben domainspezifisch vorgegebenen verabeitungs- bzw. hier speziell: komprimierungslösungen. das man das zeug nicht mehr mit alleine nur mit expertenwissen füttert, sondern eben wirklich anhand von unmengen an empirischen beispielmaterial selbst eine befriedigende lösung suchen lässt, ist in meinen augen das wirklich neue und gänzlich andersartige an diesen techniken.



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

... mal wieder einer Deiner zahlreichen Feuilleton-Beiträge.
Wenig Inhalt und viel Geschwätz.
Dabei regst Du Dich ständig darüber auf, wie schwierig es doch ist, Farben richtig darzustellen oder so ähnlich.
Aber ist schon klar, Du liest ja Deine Beiträge auch nicht.
Gute Grüße, Wolfgang

E-Book:
www.provideome.de



mash_gh4
Beiträge: 4716

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von mash_gh4 »

WoWu hat geschrieben: Mo 23 Apr, 2018 23:04 ... mal wieder einer Deiner zahlreichen Feuilleton-Beiträge.
Wenig Inhalt und viel Geschwätz.
wirf vielleicht einfach einen kurzen blick auf diese kleine fingerübung und die dortigen komentare bzgl. 'transfer learning':

https://mur-at-public.gitlab.io/orchide ... ation.html

und dann zeig mir, was du einzubringen hast, das dich auch nur ansatzweise zu einem sachkundigen urteil in diesen dingen befähigen würde...

aber du hast schon recht, die wesentlichsten errungenschaften, auf die wir uns hier technisch bei der umsetztung auch heute noch stützen, wurden in der tat von einem geschwätzigen philosphen namens gottfried wilhelm leibniz ersonnen, und nicht von einem zünftigen schmied oder gar schmiedl. ;)



Frank Glencairn
Beiträge: 22541

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Frank Glencairn »

Das ganze ist ne nette Fingerübung, die zeigt, daß man mit ner groß genugen Datenbank von Bildern, ein unscharfes Bild mit ner zusammen geklebten Collage so halbwegs glaubwürdig irgendwie nachstellen kann - nette Idee, aber zu nix zu gebrauchen.
Sapere aude - de omnibus dubitandum



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Frank Glencairn hat geschrieben: Di 24 Apr, 2018 02:24 Das ganze ist ne nette Fingerübung, die zeigt, daß man mit ner groß genugen Datenbank von Bildern, ein unscharfes Bild mit ner zusammen geklebten Collage so halbwegs glaubwürdig irgendwie nachstellen kann - nette Idee, aber zu nix zu gebrauchen.
Ja, wenn man dann aber mit etwas besseren Bilddaten arbeitet und alle Tricks anwendet, die heute in der "computational photography" (bzw. im algorithmischen Hochrechnen von Bildern) auf Smartphone-Hardware möglich sind, kommt sowas heraus:

https://petapixel.com/2018/04/20/huawei ... m-stunned/



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

Frank Glencairn hat geschrieben: Di 24 Apr, 2018 02:24 Das ganze ist ne nette Fingerübung, die zeigt, daß man mit ner groß genugen Datenbank von Bildern, ein unscharfes Bild mit ner zusammen geklebten Collage so halbwegs glaubwürdig irgendwie nachstellen kann - nette Idee, aber zu nix zu gebrauchen.
Eben nicht ... denn solche Beispiele zeigen selbst dem Blindesten auf, wie solche Algorithmen funktionieren und welche Auswirkungen dies auf Bildinhalte hat, in denen Bilddetails nämlich einfach weggelassen werden und durch (entweder) irgendwas aus der Library ersetzt werden, oder einfach ganz zugespixelt.
Das Ergebnis ist dann eben ein gering aufgelöstes Bild in hoher Schärfe, was man ebensogut aus SD fabrizieren könnte.
Insofern ist es eben nur für die eine „Fingerübung“ die schon in der Vergangenheit keinen Unterschied zwischen Auflösung und Schärfe gesehen haben.

@Cantsin
..danke für den Link.
wobei sich auch die Frage der Lichtempfindlichkeit mit den richtigen Bibliotheken bald schon relativiert (ebenso wie die Frage des Weissabgleichs:
Gute Grüße, Wolfgang

E-Book:
www.provideome.de
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.



Jott
Beiträge: 21802

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Jott »

Ich möchte gern mal hören, wie ein kleiner, so unschuldig aussehender 4K-Camcorder (oder ein Dröhnchen) das macht mit dem Ersetzen von Bildmaterial durch eine Library. 60 mal pro Sekunde und zuweilen noch schneller. Und er hat alles Bildmaterial von Google an Bord, der Camcorder. Viele Petabyte. Denn man kann ja auch außerhalb von hyperschnellen WLAN-Netzen filmen, nicht wahr? Echt cool! Vor allem die brachiale Rechenleistung! :-)

Die Möglichkeit, dass die Geräte das unheimliche 4K (in Wirklichkeit ja nur lächerliche 8 Megapixel-Bilderserien, eine Fingerübung für Digitalkameras seit 15 Jahren) ganz normal hinkriegen, besteht neben kruden Verschwörungstheorien natürlich auch noch. Aber das einzuräumen scheint unglaublich schwer zu fallen ...

Da 4K aufnahmeseitig heute stinknormaler Produktionsstandard ist, bitte auf das Ableugnen des japanischen 8K-TV umsteuern. Das ist zeitgemäßer! :-)



muellerbild
Beiträge: 54

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von muellerbild »

Wer braucht eigentlich hoch komprimierte Dateien von Stills?



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Jott hat geschrieben: Mi 25 Apr, 2018 10:57 Ich möchte gern mal hören, wie ein kleiner, so unschuldig aussehender 4K-Camcorder (oder ein Dröhnchen) das macht mit dem Ersetzen von Bildmaterial durch eine Library. 60 mal pro Sekunde und zuweilen noch schneller. Und er hat alles Bildmaterial von Google an Bord, der Camcorder. Viele Petabyte. Denn man kann ja auch außerhalb von hyperschnellen WLAN-Netzen filmen, nicht wahr? Echt cool! Vor allem die brachiale Rechenleistung! :-)
Macht er natürlich nicht, wenn er nicht das neue Huawei-Smartphone ist. (Heute früh ein Plakat an der Straßenbahnhalte gesehen, das dessen "künstliche Intelligenz-Kamera" bewirbt.) Was der 4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution.



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

muellerbild hat geschrieben: Mi 25 Apr, 2018 17:16 Wer braucht eigentlich hoch komprimierte Dateien von Stills?
Genauso gut könnte man fragen ... wer braucht überhaupt noch Datenkompression.
Ein Blick über den Tellerrand zeigt dann das Ergebnis.
Gute Grüße, Wolfgang

E-Book:
www.provideome.de



Frank Glencairn
Beiträge: 22541

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Frank Glencairn »

cantsin hat geschrieben: Mi 25 Apr, 2018 17:54 Was der 4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution.
Ja, aber das ist was völlig anderes als ein neues Bild aus einer riesen Datenbank zusammen zu puzzlen, das dann so ähnlich sein soll, wie das, was man eigentlich aufgenommen hat.

Der ganze Sinn dieser Collagen erschließt sich mir im Zeitalter von Megapixel Sensoren sowieso nicht.
Selbst mit nem mittelprächtigen Handy kann man beim besten Willen keine so verpixelten Fotos mehr machen.
Sapere aude - de omnibus dubitandum



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Frank Glencairn hat geschrieben: Mi 25 Apr, 2018 18:10
cantsin hat geschrieben: Mi 25 Apr, 2018 17:54 Was der 4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution.
Ja, aber das ist was völlig anderes als ein neues Bild aus einer riesen Datenbank zusammen zu puzzlen, das dann so ähnlich sein soll, wie das, was man eigentlich aufgenommen hat.
Hat ja auch keiner behauptet. Jott hängt sich da an WoWu auf, weil der von "Rekonstruktionsalgorithmen" spricht. Dieser Terminus bezieht sich aber auch - und erst einmal - nur auf SR. (Selbst temporales Denoising ist schon ein Rekonstruktionsalgorithmus.)

Es ist schon ein running gag auf diesem Forum, dass das Wort "Rekonstruktionsalgorithmus" hier systematisch missverstanden wird.

Wobei allerdings das Einbauen/Rekonstruieren von Bilddetails durch Deep Learning/AI jetzt tatsächlich passiert, aber eben vorerst nur bei den High End-Smartphones, die dafür seit kurzem eigene Koprozessoren (TPUs bzw. NPUs) an Bord haben:



Jott
Beiträge: 21802

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Jott »

cantsin hat geschrieben: Mi 25 Apr, 2018 17:54 4K-Camcorder aber sehr wohl tut, ist softwareseitige Geometriekorrektur (was es erst in Amateur-Videokameras gab, bevor es in Fotokameras hinüberschwappte), Nachschärfung und vor allem Superresolution.
Nachschärfung schon (kann man meistens abschalten), aber „Super Resolution“? Nope. Begründung siehe oben. Leicht unscharf stellen bleibt leicht unscharf. Absichtlich leicht unscharfe Bildbereiche bleiben leicht unscharf.

Wie wär‘s mal mit einem empirischen Nachweis deiner und wowus Behauptungen? Ihr seid ja immerhin die einzigen, die so was behaupten. Und bitte anstrengen, ich habe ein Diplom in optischer Physik! :-)

Und als Producer, täglich mit 4K umgehend im Gegensatz zu gewissen Wortführern, bin ich schon gleich gar nicht für Märchen empfänglich. Komm, das muss ganz einfach nachzuweisen sein, mit Kamera und Monitor dran. Ich bin gespannt!



Frank Glencairn
Beiträge: 22541

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Frank Glencairn »

Also das Huawei Mate 10 macht trotz "Deep Learning/AI TPU/NPU - blah-blah" Engine, ganz normale Fotos und Clips, die sich von denen meines alten Mate 9 nicht wirklich unterscheiden. ich glaub das ist nur Marketing Bullshit Bingo.

YT ist voll von "Mate 10 vs XYZ" Vergleichen, ich kann da auch nicht wirklich einen signifikanten Unterschied erkennen, den diese Deep Learning/AI Engine angeblich machen soll.

Alles was die NPU auf dem Mate 10 tatsächlich macht, ist daß sie z.B. Essen erkennt und automatisch einen entsprechenden Filter drauf legt, während ich das beim Mate 9 noch von Hand machen mußte (was ich allerdings nie gemacht hab, weil der Filter scheiße aussieht).
Sapere aude - de omnibus dubitandum
Zuletzt geändert von Frank Glencairn am Mi 25 Apr, 2018 18:52, insgesamt 4-mal geändert.



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Jott hat geschrieben: Mi 25 Apr, 2018 18:31 [
Nachschärfung schon (kann man meistens abschalten), aber „Super Resolution“? Nope.
https://www.pcworld.com/article/247485/ ... rders.html



Frank Glencairn
Beiträge: 22541

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Frank Glencairn »

Resolve hat auch bis zu 4 x "Super Resolution" - haut einen jetzt auch nicht wirklich von den Socken.
Sapere aude - de omnibus dubitandum



WoWu
Beiträge: 14819

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von WoWu »

SR muss nicht unbedingt drauf stehen, wo SR drin ist.
Außerdem gibt es unterschiedliche Herangehensweisen.
Gute Grüße, Wolfgang

E-Book:
www.provideome.de



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Frank Glencairn hat geschrieben: Mi 25 Apr, 2018 18:10 Der ganze Sinn dieser Collagen erschließt sich mir im Zeitalter von Megapixel Sensoren sowieso nicht.
Selbst mit nem mittelprächtigen Handy kann man beim besten Willen keine so verpixelten Fotos mehr machen.
Das Problem sind auch weniger die Sensoren, sondern die Optiken, die die Auflösungen nicht schaffen - sowohl die Superzooms in Consumer-Camcordern, als auch die Linsen auf Smartphones.

Kann man selbst bei höherwertigen Optiken testen, z.B. dem Panasonic 14-140mm MFT-Zoom, allerdings nur in Bezug auf Geometrie-, Vignette- und Schärfekorrektur durch die Kamera-Firmware. Wenn man mit dem Ding an einer MFT-Systemkamera (ab GH1) Videos dreht und das Objektiv erst normal mountet und HD-Video dreht, dann die elektronischen Kontakte am Mount abklebt und es mit zuvor eingestellter Blende als manuelles Objektiv mountet und neues Material dreht, erlebt man sein Wunder beim anschließenden Sichten. [Nicht nur, weil die Softwarekorrekturen ein in Wahrheit optisch schwaches Objektiv gehörig aufbrezeln, sondern auch weil die Kamera das Videobild z.B. nicht einfach pauschal nachschärft, sondern nur in den Zonen, wo das Objektiv schwach bzw. schlecht auflöst. Wenn man den Unterschied sieht, ist das ein bisschen wie die rote und blaue Pille in der Matrix. Wobei die GH1 und dieses Objektiv noch Stand der Kameratechnik von vor beinahe 10 Jahren sind.]



Frank Glencairn
Beiträge: 22541

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Frank Glencairn »

Davon sprech ich ja nicht, sondern von diesen Collagen.

Die Panasonic, greift ja nicht bei jedem Bild auf eine gigantische Datenbank zurück, und klebt sich aus Versatzstücken ein eigenes Foto zusammen, weil die Optik nicht gut genug ist.
Sapere aude - de omnibus dubitandum



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Frank Glencairn hat geschrieben: Mi 25 Apr, 2018 18:40 Also das Huawei Mate 10 macht trotz "Deep Learning/AI TPU/NPU - blah-blah" Engine, ganz normale Fotos und Clips, die sich von denen meines alten Mate 9 nicht wirklich unterscheiden. ich glaub das ist nur Marketing Bullshit Bingo.
I.d.R. sieht man es nicht. Ich hatte mal zwei Studenten, die sich eine Woche lang den Spaß gemacht haben, die computational imaging-Algorithmen eines aktuellen Google Pixel-Smartphones auszutricksen. (Kann die Fotos hier leider nicht teilen.) In bestimmten Situationen versagen die, und dann sieht man, dass die Kameras intern Bilderreihen aufnehmen und zu besser aussehenden Einzelbildern (durch HDR-Belichtungsreihentricks, temporal denoising etc.) zusammenrechnen - weil es Stitching- und andere Artefakte gibt. Das heisst aber auch, dass man nicht mehr sicher weiss, ob ein Foto wirklich einen genauen Moment abbildet oder ob da aus der Zeitspanne von ungefähr einer Sekunde Teilbilder aus verschiedenen Frames kombiniert werden.

Hätte Zapruder die Kennedy-Ermordung also mit einem heutigen Highend-Smartphone aufgenommen, wäre die forensische Beweiskraft der Bilder (wenn es z.B. um einen Kugeleinschlag ginge) schon ernsthaft eingeschränkt.



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Frank Glencairn hat geschrieben: Mi 25 Apr, 2018 19:12 Davon sprech ich ja nicht, sondern von diesen Collagen.

Die Panasonic, greift ja nicht bei jedem Bild auf eine gigantische Datenbank zurück, und klebt sich aus Versatzstücken ein eigenes Foto zusammen, weil die Optik nicht gut genug ist.
Mit besserer Elektronik bzw. AI-Algorithmen könnte sie aber erkennen, ob sie z.B. einen Grashalm, die Oberfläche eines Steins oder Haut nachschärft und da jeweils verschiedene Verfahren einsetzen, einschließlich der Rekonstruktion/des Hinzufügens nicht mehr aufgelöster Texturdetails. Dafür ist ja keine gigantische Datenbank nötig, sondern nur jeweils relativ allgemeine Texturmodelle für Haut, Blätter, Holz, Stein etc. Bin mir ziemlich sicher, dass wir solche Techniken bald in Kameras haben, wenn sie nicht schon in den Smartphones stecken."

EDIT: Und wir haben die Chose ja schon umgekehrt mit der Haut-Weichzeichnung bei A7-Kameras.



Jott
Beiträge: 21802

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von Jott »

cantsin hat geschrieben: Mi 25 Apr, 2018 18:41
Jott hat geschrieben: Mi 25 Apr, 2018 18:31 [
Nachschärfung schon (kann man meistens abschalten), aber „Super Resolution“? Nope.
https://www.pcworld.com/article/247485/ ... rders.html
Ach bitte. Den hatte dein Mentor damals vor sechs Jahren (!) auch schon jubelnd ausgegraben. Sony nutzte den Begriff hier als Marketingblabla für was anderes.

Versuch: 4K-Camcorder - AX53 oder AX100 oder so was auf‘s Stativ (damit die „Super Resolution“ gar nicht erst auf die Idee kommt, aus mehreren leicht verschiedenen Bildern etwas hochzurechnen). An ein Blümchen heranzoomen. Je mehr Tele, desto mehr Tiefenunschärfe. Was ja nicht sein darf laut wowu, ist aber trotzdem so. Geschenkt. Jetzt gaaaanz langsam zoomen. Macht es irgendwo „flupp“, eine Stelle, wo die „Super Resolution“ einsetzt und plötzlich etwas scharf wird? Nö. Wieder ranzoomen, am Fokusring drehen. Macht es irgendwann „flupp“? Nein, natürlich nicht. Noch besser: langsam schwenken! Das Einsetzen eines Algorithmus müsste man sehen!

Machen, aufnehmen, beweisen. Mit Bewegtbildern und live natürlich, es geht ja um Video. Und nochmal: welcher Algorithmus sollte gewollte von ungewollter, gestalteter Unschärfe auseinander halten können, und wie?

Die geometrische Linsenkorrektur ist übrigens kein Zauberwerk. Das passiert ja nicht „intelligent“, sondern auf der Basis hinterlegter Formeln, quasi ein Korrektur-LUT. Wird schon ewig so gemacht, Kamera und Objektiv müssen sich nur „kennen“.



cantsin
Beiträge: 14103

Re: Neuronale Bildkompression anschaulich demonstriert

Beitrag von cantsin »

Jott hat geschrieben: Mi 25 Apr, 2018 20:34 Versuch: 4K-Camcorder - AX53 oder AX100 oder so was auf‘s Stativ (damit die „Super Resolution“ gar nicht erst auf die Idee kommt, aus mehreren leicht verschiedenen Bildern etwas hochzurechnen). An ein Blümchen heranzoomen. Je mehr Tele, desto mehr Tiefenunschärfe. Was ja nicht sein darf laut wowu, ist aber trotzdem so. Geschenkt. Jetzt gaaaanz langsam zoomen. Macht es irgendwo „flupp“, eine Stelle, wo die „Super Resolution“ einsetzt und plötzlich etwas scharf wird? Nö. Wieder ranzoomen, am Fokusring drehen. Macht es irgendwann „flupp“? Nein, natürlich nicht. Noch besser: langsam schwenken! Das Einsetzen eines Algorithmus müsste man sehen!
Mir geht es nicht um Super Resolution im Sinne von "Alles scharf vom Vorder- bis Hintergrund" (was gar nicht geht, wenn der Hintergrund wirklich unscharf ist - dann kann auch ein Algorithmus da nicht mehr viel rausholen), sondern um Beispiele wie dieses hier, das ich schon öfter mal hier gepostet habe:

http://www.filmkorn.org/zwischen-den-ze ... ilm-sehen/

Das Beispiel zeigt, wie man aus Super 8-Material per SR HD-Video macht. (Der Autor arbeitet bei Adobe.)



 Aktuelle Beiträge [alle Foren]
 
» Dji Osmo Action 4 Native Iso
von -paleface- - Di 11:35
» Was schaust Du gerade?
von Frank Glencairn - Di 11:29
» Warnung vor LED-Leuchten mit internem Akku
von MK - Di 10:09
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von markusG - Di 9:23
» After Effects CS6 Green Screen Frage
von -paleface- - Di 8:32
» IDEENFINDUNG: Wie man spannende Filme entwickelt! mit Vi-Dan Tran (Actiondesigner DUNE)
von 7River - Di 7:44
» ZRAW - Allgemeines und Umwandlung
von roki100 - Mo 22:49
» Apple setzt auf lokale KIs in iPhone, iPad und Mac
von Jost - Mo 20:48
» Sony Alpha 9 III Sensor Test: Shutter, Debayering und Dynamik
von iasi - Mo 20:35
» Panasonic AG AC 90 Zubehörschuh
von martin2 - Mo 16:53
» Zu verkaufen Viltrox 56mm 1.4 Viltrox 85mm 1.8 MKII Fuji X mount
von Jörg - Mo 14:27
» Musk macht GROK zu Open Scource
von SamSuffy - Mo 13:09
» The Next Big Thing? LED-Riesenkugel Sphere will Massen-Immersion neu definieren
von Alex - Mo 13:08
» Mocha Pro 2024 integriert 3D-Tracking von SynthEyes
von slashCAM - Mo 13:00
» Was hast Du zuletzt gekauft?
von Funless - Mo 12:54
» Software Tools für Productivity
von Frank Glencairn - Mo 12:51
» welches mikro für live-konzerte?
von Skeptiker - Mo 11:11
» Mikrohalterung Sony FS5 und Z150
von nicecam - Mo 11:05
» Apple Vision Pro: Verkaufsstart (USA) ab Februar für 3.499,- Dollar + neuer Werbeclip
von Frank Glencairn - Mo 9:18
» Drohne bauen, die nicht zu orten ist …?
von Jalue - So 22:02
» Werbung - es geht auch gut ;) Sammelthread
von 7River - So 17:07
» Monitor-Leuchte als Alternative zur Tischlampe ? - Quntis ScreenLinear Pro
von Jack43 - So 16:14
» Oppenheimer - inhaltlich und spirituell
von Frank Glencairn - So 15:43
» - Erfahrungsbericht - DJI Pocket 3
von klusterdegenerierung - So 13:20
» LG investiert 1 Milliarde Dollar in OLED-Produktion
von slashCAM - So 11:36
» 30-300mm T4 Cinezoom von Viltrox
von rush - So 8:03
» Revolutionäre Video-KI Sora soll noch dieses Jahr kommen
von Alex - So 7:49
» Wenn nennt man die Musik?
von Alex - So 7:29
» 7Artisans Sprite 24-96mm T2.9 - 4x Cinezoom für S35
von roki100 - Sa 22:57
» Was hörst Du gerade?
von klusterdegenerierung - Sa 20:42
» Biete: Manfrotto MH057M0-Q5 Kugelkopf
von beiti - Sa 18:17
» Suche LUT names Acuity
von jojo1243 - Sa 17:40
» Plant Nikon eine REDCODE RAW-Offensive zur NAB 2024?
von iasi - Sa 14:57
» The Crow — Rupert Sanders
von Gol - Sa 12:09
» Lohnt Kauf Canon HV40
von Bruno Peter - Sa 12:00