Aufregung um Samsungs Bildoptimierung bei Mondaufnahmen

[Skeptiker]

Eben nicht - dann hat Jörg den Mond, der auf dem Foto gar nicht zu erkennen war, immer noch 'gefaked', nur diesmal unschärfer.

Ich denke du hast das offensichtlich immer noch nicht wirklich verstanden, wie Machine Learning funktioniert.

Aber ich seh da ein großes Potential an Mond Fake Memes in den nächsten Wochen.

Doch, so einigermassen schon.
Mir geht's hier um Automatismen, die man nicht abschalten kann. Das stört mich bei Kameras, bei Autos, bei Technik allgemein. Ich bevorzuge es, noch eine Wahl zu haben.
Aber es gibt Ausnahmen, wo Automatismen Sinn ergeben (z.B. weil unsere Reaktionszeit zu langsam ist oder unsere Sinne zu stumpf) - das stimmt!

[Frank Glencairn]

Was die Abschaltbarkeit betrifft bin ich ja ganz bei dir - bei meinem Huawai geht's (sieht man auch im Ergebnis) - Samsung weiß ich ned, hatte nie eines.

Aber was bringt dich zu der Annahme daß die AI einen unscharfen Mond durch einen unscharfen KI Mond ersetzen würde?

[Funless]

Beruflich nutzt Frank doch gar kein Smartphone soweit ich weiß, sondern eher ausschließlich RAW Kameras.

Ich weiss. Solange es sie noch gibt .. ;-)

Ich bin mir sehr sicher, dass es sie noch lange geben wird.

Davon abgesehen, behaupte ich frech, dass über 99% der Konsumenten dieses Smartphones es nicht im geringsten interessiert ob die abgelichtete Oberfläche des Mondes tatsächlich so aussieht oder ob da das Handy nachgeholfen hat. Hauptsache es sieht gut aus.
Ich behaupte sogar ebenfalls frech, dass wenn eine App existieren würde die bei matschigen Handy Fotos automatisch und instant künstliche Details hinzufügt, würde ein Großteil der o.g. 99% diese App ohne weiter darüber nachzudenken benutzen. Nun macht es das Handy automatisch.

[Skeptiker]

Was die Abschaltbarkeit betrifft bin ich ja ganz bei dir - bei meinem Huawai geht's (sieht man auch im Ergebnis) - Samsung weiß ich ned, hatte nie eines.

Aber was bringt dich zu der Annahme daß die AI einen unscharfen Mond durch einen unscharfen KI Mond ersetzen würde?

Gar nichts.
Das war nur eine (nicht ganz ernsthemeintes) Antwort auf Deinen (nicht ganz ernstgemeinten) Vorschlag an Jörg, doch eine Blur-Filter über den KI- bzw ML-Mond zu legen und damit sein Smartphone auf Pre-ML-Status zurückzusetzen.

[DKPost]

Bei allen Samsung die ich bisher hatte konnte man das abschalten. Mal ganz davon abgesehen, dass man ja auch RAWs aufnehmen kann.
Was man logischerweise nicht komplett abschalten können wird ist irgendeine Art von Processing bei diesem 100x Zoom Modus, weil die Kamera natürlich kein echtes 100x Zoom-Objektiv hat. Ich nehme aber stark an, dass man die KI im Sinne von Bildteile neu berechnen und ersetzen weiterhin abschalten können wird.
Von daher ist das für mich auch absolut kein Aufreger.

[Frank Glencairn]

Okay - ich glaub allerdings daß die Vorstellung hier, das Handy würde ständig irgendwelche Inhalte durch andere (womöglich aus anderen Ländern) ersetzen basiert hauptsächlich auf Unverständnis der Technik.

Ich hab eben mal die (etwas verwelkten) Blumen auf meiner Fensterbank, einmal mit und einmal ohne KI - fotografiert.
Der Unterschied ist ein Bisschen Schärfe, Sättigung, Textur - also alles was ich per Hand normal auch gemacht hätte.
Keine der Blumen wurde durch ne frische Ersetzt, oder durch ein exotisches Gewächs aus fremden Ländern.

@DK na klar ist alles was über optisches Zoom hinaus geht Super-Res, was denn sonst?
Macht man ja mit Topaz oder Photoshop auch nicht anders.

[DKPost]

Okay - ich glaub allerdings daß die Vorstellung hier, das Handy würde ständig irgendwelche Inhalte durch anere (womöglich aus anderen Ländern) ersetzen basiert hauptsächlich Unwissen.

Ich hab eben mal die (etwas verwelkten) Blumen auf meiner Fensterbank, einmal mit und einmal ohne KI - fotografiert.
Der Unterschied ist ein Bisschen Schärfe, Sättigung, Textur - also alles was ich per Hand normal auch gemacht hätte.
Keine der Blumen wurde durch ne frische Ersetzt, oder durch ein exotisches Gewächs aus fremden Ländern.

Das würde mich auch mal interessieren, ob das nur in diesem Mond-Modus passiert. Angeblich sind die Daten dafür ja auch auf dem Handy und werden nicht vom Internet abgerufen, von daher ist die Anzahl an möglichen Texturen ja sowieso stark begrenzt. Ich glaube ja fast, dass das ein Mond-Exklusives Feature ist.

[Frank Glencairn]

Ja, gut möglich, das hab ich mir auch schon gedacht. Wobei da ja keine Texturen im eigentlichen Sinne irgendwo gespeichert sind.

[Skeptiker]

Der Unterschied ist ein Bisschen Schärfe, Sättigung, Textur - also alles was ich per Hand normal auch gemacht hätte.

Bei Textur wäre ich selbst eher zögerlich. Aber klar - ich kenne und benutze das Clone-Tool in Photoshop auch regelmässig für kleine Ausbesserungen (vor allem bei 'gestichten' Panoramen an den Bildrändern) - nur tue ich das (noch) bewusst.

[DKPost]

Ja, gut möglich, das hab ich mir auch schon gedacht. Wobei da ja keine Texturen im eigentlichen Sinne irgendwo gespeichert sind.

Doch, so wie ich das einem Statement von Samsung (glaube ich, nicht mehr sicher) gelesen habe schon. Da sind verschiedene Texturen vom Mond in verschiedenen Winkeln, Belichtungen, Farben etc. direkt auf dem Handy gespeichert.
Ich müsste aber nochmal raussuchen wo ich das gelesen hatte.

[Frank Glencairn]

Hie mal zum direkten Vergleich:

IMG_20230315_124415[1].jpg

IMG_20230315_124404[1].jpg

[Frank Glencairn]

Ja, gut möglich, das hab ich mir auch schon gedacht. Wobei da ja keine Texturen im eigentlichen Sinne irgendwo gespeichert sind.

Doch, so wie ich das einem Statement von Samsung (glaube ich, nicht mehr sicher) gelesen habe schon. Da sind verschiedene Texturen vom Mond in verschiedenen Winkeln, Belichtungen, Farben etc. direkt auf dem Handy gespeichert.
Ich müsste aber nochmal raussuchen wo ich das gelesen hatte.

Hier ist die Antwort:




Bei Huawai gabs die selbe Diskussion übrigens schon 2019.
https://www.phonearena.com/news/Is-the- ... s_id115554

[Jörg]

Frank rät

Dann mach doch einfach über jedes deiner Fotos nen Blur Filter, und schon hast du die frühere Qualität ohne KI wieder :D

ach, mir gefällt "mein" analoger Mond ganz gut, Ki hin machine learning her ;-))

1000mm Spiegel an S35

Spiegel 1000mmHell.jpg

[pillepalle]

Und jetzt das Ganze noch mit dunkelblauem Himmel, der Familie im Vordergrund und dem Eiffelturm im Hintergrund :)

VG

[Skeptiker]

Ich weiss. Solange es sie noch gibt .. ;-) (gemeint waren RAW-Kameras für die (Semi-)Profis)

Ich bin mir sehr sicher, dass es sie noch lange geben wird.

Davon abgesehen, behaupte ich frech, dass über 99% der Konsumenten dieses Smartphones es nicht im geringsten interessiert ob die abgelichtete Oberfläche des Mondes tatsächlich so aussieht oder ob da das Handy nachgeholfen hat. Hauptsache es sieht gut aus.
Ich behaupte sogar ebenfalls frech, dass wenn eine App existieren würde die bei matschigen Handy Fotos automatisch und instant künstliche Details hinzufügt, würde ein Großteil der o.g. 99% diese App ohne weiter darüber nachzudenken benutzen. Nun macht es das Handy automatisch.

Da könntest Du ja recht haben.
Und wir bewegen uns bei Smartphones ja im Spass- und Spiel-Bereich, da kommt's nicht so darauf an, was da auf Bildern echt und was hinzu'gedichtet' ist, solange es gut aussieht.
In der allgemeinen AI-Diskussion im Forum ging's ja auch um die Grundsatzfrage "Wird AI einst die Welt beherrschen?" (das klingt jetzt zu dramatisch, ich weiss), auf die 2 von Cantsin verlinkte Buchautoren unter dem Titel "Why Machines Will Never Rule the World (2023)" eine beruhigende Antwort geben (nämlich: Nein).
Die Frage ist ja erlaubt, inwiefern die beiden qualifiziert sind für ihre Antwort (lässt sich auf LinkedIn und anderswo im Web aufgrund von Vita und Ausbildung etwa abschätzen), und darüberhinaus kann man sich ja selbst Gedanken machen, ohne voreilig zu urteilen, indem man sich unaufgeregt mit der Materie vertraut zu machen versucht und dann Pro und Kontra abwägt.
Mein vorläufiges Fazit: Automatismen, die das Leben erleichtern und verbessern sind ok bzw. erfreulich, solange sie sinnvoll sind und noch als Automatismen erkennbar, und solange es noch eine "Handkurbel" (On/Off-Button) für manuelles Eingreifen gibt. Wenn das nicht mehr der Fall ist, sehe ich Probleme kommen, Fakt und Fälschung/'Optimierung' (Realität und Virtualität) auseinanderzuhalten. Wenn ich das schreibe, weiss ich, dass Realität und "Realität" in der digitalen Welt sich grundsätzlich beissen!

[MK]

Ich wohnte schon gerichtlich angeordneten Gutachterterminen bei wo die Bilder mit dem Smartphone gemacht wurden. Da wird es dann interessant wie echt die Fotos sind.

[Frank Glencairn]

So lange es in dem Prozess nicht um Details der Mondoberfläche geht, kein Problem.

[MK]

So lange es in dem Prozess nicht um Details der Mondoberfläche geht, kein Problem.

Vielleicht geht es um Mooning ;-)

[cantsin]

So lange es in dem Prozess nicht um Details der Mondoberfläche geht, kein Problem.

Hier ist IMHO ein gutes Beispiel für computational photography, die nicht beweiskräftig ist bzw. Beweiskräftigkeit kaputt macht:


https://petapixel.com/2023/02/04/the-li ... otography/

Rechts ist eine Reliefschrift auf einem Gehweg, wie sie von einer normalen (Fuji-)Kamera 'gesehen' wurde, links dessen computational photography mit einem iPhone. Der Autor des Artikels, ein Softwareentwickler, kriegte es mit dem iPhone einfach nicht hin, ein "normales" Bild der Schrift zu machen, weil ihm die iPhone-AI immer dazwischenfunkte und daraus diese seltsamen Kreidebuchstaben machte.

Jetzt stelle man sich vor, es gäbe einen urheberrechtlichen Prozess um Schrift-Design, in dem ein Typograf auf der Grundlage der iPhone-Fotos behaupten würde, dass die Reliefbuchstaben ein Plagiat seines Designs seien, und der Richter würde diese Fotos als Beweismaterial akzeptieren...

[Wobei da durchaus auch das umgekehrte Resultat denkbar wäre, nämlich Kreidebuchstaben auf dem Gehweg, die durch die Smartphone-KI zu Druckbuchstaben hochgerechnet/aufgebrezelt werden...]

[muellerbild]

Ich wohnte schon gerichtlich angeordneten Gutachterterminen bei wo die Bilder mit dem Smartphone gemacht wurden. Da wird es dann interessant wie echt die Fotos sind.

Wer kann dann noch beweisen, dass Kratzer und Beulen vom Smartphone entfernt wurden?
Die habe ich schon vor 20 Jahren mit PS entfernt bevor ich meine Artikel bei Ebay einstellte.

[Darth Schneider]

Am Schluss ist gar nix mehr echt auf den Fotos, dann macht man ein Foto von der Frau oder von der Freundin und auf dem Fotos sieht sie dann aus wie eine ganz andere…;))
Ich weiss nicht,
etwas kreativ zum Spass, unscharfer Hintergrund, und Kratzer oder Pickel entfernen finde ich schon super, aber die Smartphone Hersteller sollten es nicht übertreiben.
Sonst wird alles voll fake…
Gruss Boris

[MK]

Am Schluss ist gar nix mehr echt auf den Fotos, dann macht man ein Foto von der Frau oder von der Freundin und auf dem Fotos sieht sie dann aus wie eine ganz andere…;))

Im Einzelfall womöglich vorteilhaft... ;-)

[cantsin]

Fun fact -
Huawei hatte schon 2019 einen machine learning-gestützten "Moon Mode" in seinen Smartphones, der das gleiche machte wie heute Samsung:

https://www.androidauthority.com/huawei ... sy-978486/

[cantsin]

Bin zwar nicht unbedingt ein Fan dieses YouTubers, aber dieses Video ist IMO wirklich gut, weil es in die tiefen Details von Samsungs machine learning-Bildverbesserung einsteigt und durch Praxistests beweist, wie sie genau funktioniert:



Kurze Zusammenfassung:

- Es wird nicht einfach ein Overlay des Monds auf die Kamerabilder gelegt

- ...sondern ein Hybrid/Morphing der tatsächlichen Kamera- und drübergelegten Trainingsdaten erzeugt (wie sich z.B. bei dem experimentell hinzufügen quadratischen Block zeigt)

- Diese künstliche Bildverbesserung greift erstens nur ab einer bestimmten Zoomstufe der Smartphone-Kamera und zweitens wird sie von Samsung nur zu Nachtzeiten aktiviert (weswegen Tests mit einem von einem Computermonitor abfotografierten Mond nur nachts und in abgedunkelten Zimmern funktionieren);

- Die algorithmischen hinzugefügten Details der Mondoberfläche sind z.T. fiktiv - es werden Mondkrater hinzugefügt, die der echte Mond gar nicht hat.

- Die machine learning-Bildverbesserungen greifen nicht nur beim Mond ein, sondern auch bei anderen Motiven. Er zeigt das Foto eines Hauses, das von der Samsung-Objekterkennungs-KI irrtümlich als Buchseite interpretiert wurde, was in einem Bild resultierte, in dem die Fenster des Hauses durch pseudo-koreanische Schriftzeichen ersetzt wurden. (Zugegebenermaßen ziemlich lustig, wie aus einem Philip K. Dick-Roman....)

- Außerdem greifen die Bildverbesserungen auch bei Porträts, wobei das Abfotografieren von gedruckten Fotos wiederum als guter Lackmus-Test funktioniert. Die KI-Bildverbesserung des Telefons erfindet z.B. bei abfotografierten Haaren Details dazu, die es im (niedrigaufgelösteren) Foto-Print gar nicht gibt, die aber durch Fehler bei der Objekterkennung dazu führen, das z.B. Frisuren (wie z.B. die Kammrichtung von Haaren) verändert werden. Andere Körperteile wie z.B. Finger werden hingegen gar nicht erkannt und dann im selben Bild in viel schlechterer Qualität und ohne vergleichbare Detailfülle wiedergegeben.

Lohnt sich, das Video ganz zu sehen. (Die Beobachtungen kommen auch völlig mit dem überein, was wir hier schon über machine learning-basierte Bildverbesserung diskutiert haben.)

[Darth Schneider]

@Cantsin
Schon sehr faszinierend.
Immerhin noch ein guter Grund sich zum fotografieren einen traditionellen Fotoapparat zu kaufen, bleibt zumindest vorerst das man dann ganz sicher noch wirklich echte Fotos am Schluss kriegt…;)

Also ich schaue ja gar nicht viele YouTube Kanäle regelmässig. Foto Content eher sehr wenig, aber mir ist jetzt dieser YouTuber eigentlich sehr sympathisch…Er ist motiviert, kommt gut rüber und scheint doch sehr kompetent…
Gruss Boris

[medienonkel]

Ah, ein Overlay aus zusammenfantasierten Kratern...

Okay.

Hätte nun viel simpler vermutet, dass das Smartphone eine relativ hoch aufgelöste Textur (4k sollten reichen) gespeichert hat. Eine kleine 3d Engine den Mond anhand vom Standpunkt des Fotografen, Kalender und Uhrzeit rendert und erst dann über das Original compt.
Zumindest hätte man so stets konstante Krater und Oberflächenstrukturen und es müsste nichts dazu geträumt oder falsch interpretiert werden.

Der Mond ist ja in seiner Oberflächenbeschaffenheit recht konstant. Neue Krater bis 100 Meter Durchmesser sollte man bei der Vergrößerung ja vernachlässigen können.
Bevor einer mit dem Argument kommt ;-)

[Jott]

Immerhin noch ein guter Grund sich zum fotografieren einen traditionellen Fotoapparat zu kaufen, bleibt zumindest vorerst das man dann ganz sicher noch wirklich echte Fotos am Schluss kriegt

Die kriegt man auch von Samsung, wenn man den "scene optimizer" einfach abschaltet. Genial, was? :-)

[cantsin]

Immerhin noch ein guter Grund sich zum fotografieren einen traditionellen Fotoapparat zu kaufen, bleibt zumindest vorerst das man dann ganz sicher noch wirklich echte Fotos am Schluss kriegt

Die kriegt man auch von Samsung, wenn man den "scene optimizer" einfach abschaltet. Genial, was? :-)

Nicht ganz. Auch mit abgeschaltetem "Scene Optimizer" macht das Telefon (so, wie praktisch auch jedes andere Smartphone) frame stacking und darauf basierte Super Resolution, wie Samsung auch selbst erklärt:
https://www.samsungmobilepress.com/feat ... f-the-moon

Zwar kriegt man dann keine fiktiven Texturen auf seine Bilder, aber das Foto ist immer noch ein Composite verschiedener Frames, in dem im ungünstigsten Fall Bildelemente verschiedener Aufnahmemomente kombiniert werden. Das könnte z.B. führen, dass auf einem Bild ein Auto durch eine rote Ampel fährt, während sie in dem Moment tatsächlich noch auf Gelb stand. Siehe das von mir früher in diesem Thread verlinkte WIRED-Video mit dem MIT-Forscher...

[Darth Schneider]

Die Smartphones werden immer besser, kein Frage, aber die kleinen Sensoren, sehr kleinen Gläser, die zu schwachen Batterien mitsamt dem beschränktem Speicherplatz und dem zu kleinen Body zum überhaupt anständig halten/bedienen „Problemchen“ bleiben …

Darum bin ich froh die S5 zum fotografieren zu haben, die ist immer noch sehr vielerlei Hinsicht einfach um Welten besser und auch wenn grösser, viel flexibler einzusetzen, als jedes Smartphone das ich bisher zum fotografieren in der Hand hatte.
Finde ich jetzt.
Vom filmen fange ich gar nicht erst an zu schreiben.

Und z.B. bei den sehr beliebten iPhones kann man überhaupt nicht alles ausschalten, was die Fotos automatisch irgend in einer Weise digital beeinflusst, behaupte ich mal.
Das geht gar nicht.

Nun gut das ist auch nicht in Stein gemeisselt..;)

Aber bei so kleinen Kameras die noch so vieles anderes auch möglichst perfekt und auch elegant können müssen, sind so oder so heftige physikalische Grenzen gesetzt.
Das wird sich in Zukunft auch nicht ändern.
Genau wie das Handling…
Gruss Boris

[poki1000]

Also ich schaue ja gar nicht viele YouTube Kanäle regelmässig. Foto Content eher sehr wenig, aber mir ist jetzt dieser YouTuber eigentlich sehr sympathisch…Er ist motiviert, kommt gut rüber und scheint doch sehr kompetent…
Gruss Boris

@boris

Den musst du kennen, das ist Tony Toneh, nach dem wurde die Unschärfe benannt ;-)

[Darth Schneider]

@poki
Natürlich kenne ich ihn, schau den Kanal aber nur selten, zu fotolastig.
Gruss Boris

[Skeptiker]

Fall geklärt, Samsung entlastet !

Der Mond ist aus Papier (2009)
Musik und Text: Pe Werner

aus dem Album: Im Mondrausch (Pe Werner, 2009)



PS:
Weiteres, hörenswertes Album:
Dichtungen aller Art (2006) - nur Piano (Peter Grabinger) und Gesang (Pe Werner) - perfekt abgestimmt.
Zwischen den 9 Songs: Pe Werners Texte als Überleitung.

[macaw]

Hier ist IMHO ein gutes Beispiel für computational photography, die nicht beweiskräftig ist bzw. Beweiskräftigkeit kaputt macht:


https://petapixel.com/2023/02/04/the-li ... otography/

Rechts ist eine Reliefschrift auf einem Gehweg, wie sie von einer normalen (Fuji-)Kamera 'gesehen' wurde, links dessen computational photography mit einem iPhone. Der Autor des Artikels, ein Softwareentwickler, kriegte es mit dem iPhone einfach nicht hin, ein "normales" Bild der Schrift zu machen, weil ihm die iPhone-AI immer dazwischenfunkte und daraus diese seltsamen Kreidebuchstaben machte.

Jetzt stelle man sich vor, es gäbe einen urheberrechtlichen Prozess um Schrift-Design, in dem ein Typograf auf der Grundlage der iPhone-Fotos behaupten würde, dass die Reliefbuchstaben ein Plagiat seines Designs seien, und der Richter würde diese Fotos als Beweismaterial akzeptieren...

[Wobei da durchaus auch das umgekehrte Resultat denkbar wäre, nämlich Kreidebuchstaben auf dem Gehweg, die durch die Smartphone-KI zu Druckbuchstaben hochgerechnet/aufgebrezelt werden...]

Und ich dachte als Iphone Besitzer wäre ich vielleicht auf der sicheren Seite... :-D

[Frank Glencairn]

Und ich dachte als Iphone Besitzer wäre ich vielleicht auf der sicheren Seite... :-D

Der Unterschied besteht nur darin, daß sich bei Apple keiner drüber aufregt ;-)

[Jott]

Sieht aus wie massiv vergrößert - ich denke nicht, dass es hier den Aufreger gibt, den der "Software Engineer" postuliert. Das dürfte eher ein winziger Ausschnitt sein aus einem verrauschten und dunklen Bild, wo ein üblicher Schärfungs-/Entrauschungsversuch einsetzt.

Challenge: wer kann zeigen/nachvollziehen, dass ein iPhone oder ein Modell eines anderen Herstellers bewusst Schrifttypen verändert?