Also, einfacher ausgedrückt: die Reise geht hin zur Verschmelzung von Smartphone-Fotografie und den heutigen KI-Bildgeneratoren wie DALL-E und Stable Diffusion. Die Smartphones werden eine ähnliche KI haben wie das heutige "img2img"-Modul von Stable Diffusion, das bereits solche Transformationen beherrscht:"KI ist eine der größten Entwicklungen im Bereich der Kameras, und Judd Heape, der führende Kamera-Entwickler bei Qualcomm, glaubt, dass sie in Zukunft den gesamten Bildaufnahmeprozess übernehmen könnte.
Der Einsatz von KI hat sich seit den 2018 erstmals vorgestellten Modi weiterentwickelt, aber Heape erklärt, dass KI in der Fotografie in vier Stufen unterteilt werden kann.
Die erste Stufe ist recht einfach: KI wird eingesetzt, um ein bestimmtes Objekt in einem Bild oder einer Szene zu erkennen. In der zweiten Stufe steuert die KI die sogenannten 3A-Funktionen, nämlich Autofokus, automatischen Weißabgleich und automatische Belichtung. Der Qualcomm-Ingenieur geht davon aus, dass sich die Branche derzeit in der dritten Phase der KI-Fotografie befindet, in der die KI eingesetzt wird, um die verschiedenen Segmente oder Elemente der Szene zu erkennen.
Laut Heape sind wir etwa drei bis fünf Jahre von dem heiligen Gral entfernt, bei dem KI das gesamte Bild verarbeitet:
'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Ich möchte, dass das Bild wie diese National Geographic-Szene aussieht", und die KI-Engine sagt: "Okay, ich werde die Farben, die Textur, den Weißabgleich und alles andere so anpassen, dass es wie das Bild aussieht, das Sie mir gerade gezeigt haben".
[...]
Sony hat Anfang des Jahres einige interessante Behauptungen aufgestellt, als ein Manager vorhersagte, dass Fotos von Smartphones in den nächsten Jahren die Bilder von DSLR-Kameras übertreffen werden. Das ist leicht auszumalen, wenn man den Fortschritt berücksichtigt, der bei Smartphones durch bessere Bildverarbeitung erzielt wurde. Aber Telefone haben aufgrund ihres dünneren Formfaktors im Vergleich zu DSLRs immer noch kleinere Komponenten.
Dies räumt Heape ein, obwohl er nach wie vor davon ausgeht, dass Smartphones herkömmliche Kameras hinter sich lassen werden. "Wenn es darum geht, die Bildqualität einer DSLR zu erreichen, ja. Ich denke, der Bildsensor ist so weit, und ich glaube, dass die Innovationen, die in mobile Bildsensoren einfließen, wahrscheinlich schneller und fortschrittlicher sind als in der übrigen Branche."
Er führt weiter aus, dass die in Smartphones verfügbare Prozessorleistung einen erheblichen Vorteil gegenüber DSLR-Kameras darstellt:
Das Processing im Snapdragon ist zehnmal besser als bei den größten und leistungsfähigsten Kameras von Nikon und Canon. Deshalb sind wir in der Lage, bei der Bildqualität neue Maßstäbe zu setzen. Denn obwohl wir ein kleines Objektiv und einen kleinen Bildsensor haben, verarbeiten wir ein Vielfaches von dem, was eine DSLR-Kamera leisten kann."
Wenn Du mal mit DALL-E oder Stable Diffusion experimentierst, geht das genau das - aber natürlich nur als Bild.roki100 hat geschrieben: ↑Mo 03 Okt, 2022 17:07 Das liest sich wie damals im Jahr 1995, als es darum ging, wie Autos im Jahr 2000 aussehen werden:
'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Bring mich nach New York", und die KI-Engine sagt: "Okay, ich fahre dich nach New York".
Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen [inkl. in RawTherapee einstellbarer Debayer-Algorithmen und optional undebayerter RGGB- Bildanzeige - also wirklich keine debayerten 16bit-TIFFs im DNG-Container].dienstag_01 hat geschrieben: ↑Mo 03 Okt, 2022 23:57 Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Oder eher: Das ist die RAW-Simulation einer KI-Datei ;)cantsin hat geschrieben: ↑Di 04 Okt, 2022 00:17Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen [inkl. in RawTherapee einstellbarer Debayer-Algorithmen und optional undebayerter RGGB- Bildanzeige - also wirklich keine debayerten 16bit-TIFFs im DNG-Container].dienstag_01 hat geschrieben: ↑Mo 03 Okt, 2022 23:57 Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Aber in diese DNGs steckt trotzdem bereits die ganze 'computational photography' bzw. KI-Prozessierung des Telefons (auf der heutigen "Stufe 3", wie sie der Qualcomm-Manager nennt), inkl. HDR-Zusammenrechnung von Bildreihen mit Tonemapping und temporaler Entrauschung. Wenn man diese DNGs dann im Raw-Konverter öffnet, sind die immer perfekt belichtet - bis hin zu Spitzlichtern, die im Waveform-Monitor genau oben sitzen, aber nicht clippen.
Genaugenommen ist das bereits die KI-Simulation einer Raw-Datei.
Dazu gibt's auch ein schönes Interview mit jemandem, der am MIT zu diesem Thema arbeitet:
Money quote des MIT-Forschers: "Photo realism is dead. We should just bury it, and it's all about hallucination".
In der Forschung ist KI ein weites Gebiet, aber in der Industrie bzw. kommerziellen Anwendung ist "KI" (AI) seit einem guten Jahrzehnt gleichbedeutend mit auf neuronalen Netzen basiertem machine learning bzw. Deep Learning.vaio hat geschrieben: ↑Di 04 Okt, 2022 09:25 Bei „KI“ sollte eigentlich unterschieden werden, ob es für realitätsnähere Aufnahmen genutzt wird - quasi als Ergänzung zur verbauten (bauartbedingt limitierten oder/und preiswerteren) Kameratechnik, oder ob es für einen bestimmten Look verwendet wird. Die Kombination von beiden ist vermutlich am häufigsten anzutreffen.
Ich habe das Gefühl, dass der Begriff „KI“ mittlerweile in jeder App u. Hardware marketingmäßig Verwendung findet. Ähnlich wie in den 90‘er „Multimedia“.
Das ist nur eine symbolische Illustration der Zusammenarbeit von Xiaomi mit Leica.
Damit wären doch schöne Telebrennweiten möglich :-)
Ne das gab es schon, ist leider geflopt. Auch die Aufsätze mit größeren Sensor (Olympus, Sony). Die Zukunft bleibt klein :PDarth Schneider hat geschrieben: ↑Mi 02 Nov, 2022 09:59 Ist doch nur eine Frage der Zeit, dann werkeln MFT Sensoren in Smartphones…
Gruss Boris
Weil die japanischen Kamerahersteller aus Kosten-, Platzspar- und thermischen/Energiespargründen auf eine andere Chiptechnologie (ASICs) mit fest in die Hardware eingebrannten Funktionen setzen.
Meine Fragen beantworten sich dadurch aber nicht. Wieso baut man dann diese Technologie nicht auch in größere Cams, wenn sie doch so viele (ich nenne es jetzt mal) "Möglichkeiten" bieten?
Weil die Kameras dadurch mehr Strom verbrauchen, mehr Kühlung und größere Gehäuse brauchen, und teurer in der Stückfertigung sind.
Sorry, das erschließt sich mir immer noch nicht:
Du meinst, man soll so einen Smartphone-Chip in eine größere Cam einbauen?Alex hat geschrieben: ↑So 26 Nov, 2023 09:46Sorry, das erschließt sich mir immer noch nicht:
Ich verstehe deine Ausführungen so, dass die Smartphone-Prozessoren durch ihre Geschwindigkeit in Verbindung mit auf die Hardware angepassten Software und entsprechender Implementierung eine Leistung bringen, die größere Kameras nicht bieten können.
Diese Smartphone-Technologie passt in ein winziges (Smartphone-)Gehäuse, bei erstaunlicher Akkuleistung und passiver Kühlung.
Wieso geht das dann nicht in (viel) größere Gehäuse, die z.T. noch aktiv gekühlt werden und über vielfältige, zuverlässige Stromlösungen verfügen?
Und "teurer in der Stückfertigung", na und, dann kosten sie halt ein paar Euro mehr, ist doch okay, wenn auch mehr rauskommt?
Die Größen und der Stromverbrauch der Chips summieren sich. Du hast ja bei einer Kamera noch den Groß-Sensor, der ebenfalls kräftig Strom zieht, Platz braucht und Hitze entwickelt.Alex hat geschrieben: ↑So 26 Nov, 2023 09:46 Ich verstehe deine Ausführungen so, dass die Smartphone-Prozessoren durch ihre Geschwindigkeit in Verbindung mit auf die Hardware angepassten Software und entsprechender Implementierung eine Leistung bringen, die größere Kameras nicht bieten können.
Diese Smartphone-Technologie passt in ein winziges (Smartphone-)Gehäuse, bei erstaunlicher Akkuleistung und passiver Kühlung.
Wieso geht das dann nicht in (viel) größere Gehäuse, die z.T. noch aktiv gekühlt werden und über vielfältige, zuverlässige Stromlösungen verfügen?
Wobei die kleineren Strukturen der Chips den Stromverbrauch und somit auch die Hitzeentwicklung reduzieren.cantsin hat geschrieben: ↑So 26 Nov, 2023 10:52Die Größen und der Stromverbrauch der Chips summieren sich. Du hast ja bei einer Kamera noch den Groß-Sensor, der ebenfalls kräftig Strom zieht, Platz braucht und Hitze entwickelt.Alex hat geschrieben: ↑So 26 Nov, 2023 09:46 Ich verstehe deine Ausführungen so, dass die Smartphone-Prozessoren durch ihre Geschwindigkeit in Verbindung mit auf die Hardware angepassten Software und entsprechender Implementierung eine Leistung bringen, die größere Kameras nicht bieten können.
Diese Smartphone-Technologie passt in ein winziges (Smartphone-)Gehäuse, bei erstaunlicher Akkuleistung und passiver Kühlung.
Wieso geht das dann nicht in (viel) größere Gehäuse, die z.T. noch aktiv gekühlt werden und über vielfältige, zuverlässige Stromlösungen verfügen?
Das würde dann wahrscheinlich bedeuten, dass eine MFT- oder APS-C-Kamera Gehäuse und Akkuleistung einer Fullframe-Kamera bräuchte.
Und bei Blackmagics aktuellen "Pocket"-Kameras, die ebenfalls FPGAs statt ASICs haben, sieht man ja, was das in der Praxis hinsichtlich Gehäusegröße, Kühlungsbedarf und Akkulaufzeit bedeutet.
Nein, ich meine, dass die großen Kameras mit der (ich nenne es mal) Smartphone-Technologie ausgestattet werden könnten um im Ergebnis davon zu profitieren.dienstag_01 hat geschrieben: ↑So 26 Nov, 2023 10:25 Du meinst, man soll so einen Smartphone-Chip in eine größere Cam einbauen?
Sollte das ein ernsthaftes Hindernis sein? Ich kenne mich mit Kameratechnik zu wenig aus um das genau beurteilen zu können, aber ich drehe heutzutage mit Fullframe-Kameras plus externem Monitor den kompletten Drehtag mit einem (!) Akku.
So what? Es könnte sich ja dann selbst jeder überlegen, will ich eine Cam mit KI (etwas größer, mehr Stromverbrauch) oder bleibe ich lieber ohne KI und habs klein und kompakt.
Das kann ich nicht beurteilen, inwiefern sich das bedingt, ich finde BM macht Kameras die ganz tolle Bilder machen, aber haben irgendwie schon immer Probleme mit ihrer internen Akkulösung gehabt, jedenfalls sind das meine Erfahrungen.
Ich denke das Problem dabei ist, daß sowas ja nicht gemacht wird daß Joe Shmock bessere Bilder bekommt, sondern hauptsächlich zur Gewinnmaximierung.Alex hat geschrieben: ↑So 26 Nov, 2023 13:05
Hey, ich meine, wenn gemutmaßt wird, dass ab 2024 mit Smartphones bessere Bilder als mit Großsensoren gemacht werden können, warum also nicht? Was spricht gegen schönere Bilder? Abgesehen von ideellen Wünschen, das Bild wirklich selbst ohne KI zu gestalten, was ja aber immer noch möglich sein sollte (und auch seine Daseinsberechtigung noch lange haben wird), denn man kann die KI ja auch abschalten, geht beim Smartphone ja auch. Will nur fast niemand mehr.
Klar. Aber zur Gewinnmaximierung kommt es erst, wenn Joe Shmock mit einem Gerät wirklich (für sich subjektiv) besser Bilder macht, denn sonst kauft er den KI-Kram erst gar nicht.Frank Glencairn hat geschrieben: ↑So 26 Nov, 2023 13:13 Ich denke das Problem dabei ist, daß sowas ja nicht gemacht wird daß Joe Shmock bessere Bilder bekommt, sondern hauptsächlich zur Gewinnmaximierung.
Mit dem ganzen internen Kameragerechne kann man bei der Herstellung natürlich ungestraft minderwertige billig Komponenten verbauen, und damit ist es dann halt auch kaum mehr möglich das alles auszuschalten, ohne sich einen Massiven Qualitätshit damit einzufangen.
Ein Beispiel für sowas ist das interne schönrechnen von Verzerrung, Breathing und anderen Problemen von Billigoptiken.
Ich hatte das oben noch ein bisschen aufgeschlüsselt.Alex hat geschrieben: ↑So 26 Nov, 2023 13:05Nein, ich meine, dass die großen Kameras mit der (ich nenne es mal) Smartphone-Technologie ausgestattet werden könnten um im Ergebnis davon zu profitieren.dienstag_01 hat geschrieben: ↑So 26 Nov, 2023 10:25 Du meinst, man soll so einen Smartphone-Chip in eine größere Cam einbauen?
Hey, ich meine, wenn gemutmaßt wird, dass ab 2024 mit Smartphones bessere Bilder als mit Großsensoren gemacht werden können, warum also nicht? Was spricht gegen schönere Bilder? Abgesehen von ideellen Wünschen, das Bild wirklich selbst ohne KI zu gestalten, was ja aber immer noch möglich sein sollte (und auch seine Daseinsberechtigung noch lange haben wird), denn man kann die KI ja auch abschalten, geht beim Smartphone ja auch. Will nur fast niemand mehr.
Sollte das ein ernsthaftes Hindernis sein? Ich kenne mich mit Kameratechnik zu wenig aus um das genau beurteilen zu können, aber ich drehe heutzutage mit Fullframe-Kameras plus externem Monitor den kompletten Drehtag mit einem (!) Akku.
So what? Es könnte sich ja dann selbst jeder überlegen, will ich eine Cam mit KI (etwas größer, mehr Stromverbrauch) oder bleibe ich lieber ohne KI und habs klein und kompakt.
Das kann ich nicht beurteilen, inwiefern sich das bedingt, ich finde BM macht Kameras die ganz tolle Bilder machen, aber haben irgendwie schon immer Probleme mit ihrer internen Akkulösung gehabt, jedenfalls sind das meine Erfahrungen.
Genau, von nix anderem rede ich ja auch, bzw. diskutiere, warum das nicht möglich sein soll. Ich verstehe Cantsin zwar schon, wegen Sensorgröße (ist ja ein großer Sprung von Smartphone-Sensor bis Fullframe) und Stromverbrauch, aber ich gehe davon aus, dass man zukünftig Wege finden wird, das zu bewerkstelligen, vielleicht ist aber auch gar kein Fullframe Sensor mit Smartphone-Technologie vonnöten, vielleicht reicht es ja auch ne Nummer kleiner.dienstag_01 hat geschrieben: ↑So 26 Nov, 2023 13:23 Es sollte einem aber auch klar sein, dass die Inovationen aus dem Smartphonebereich sowieso in den DSLMs landen, wenn sie denn dort Sinn machen.
Ja, das wird wunderbar funktioneren. Auf der Basis, dass alle die gleichen Bilder machen/mögen.Alex hat geschrieben: ↑So 26 Nov, 2023 13:44Genau, von nix anderem rede ich ja auch, bzw. diskutiere, warum das nicht möglich sein soll. Ich verstehe Cantsin zwar schon, wegen Sensorgröße (ist ja ein großer Sprung von Smartphone-Sensor bis Fullframe) und Stromverbrauch, aber ich gehe davon aus, dass man zukünftig Wege finden wird, das zu bewerkstelligen, vielleicht ist aber auch gar kein Fullframe Sensor mit Smartphone-Technologie vonnöten, vielleicht reicht es ja auch ne Nummer kleiner.dienstag_01 hat geschrieben: ↑So 26 Nov, 2023 13:23 Es sollte einem aber auch klar sein, dass die Inovationen aus dem Smartphonebereich sowieso in den DSLMs landen, wenn sie denn dort Sinn machen.
Und jetzt mal ehrlich, wenn ich mit einem kleine(re)n Sensor Bilder machen kann, die wirklich kompromisslos(!) wie Fullframe aussehen, dann brauche ich auch keinen großen Sensor mehr. Ich hänge mich nicht an Sensorgröße auf, wenn ich die Bilder bekomme, die mich und den Geldgeber glücklich machen, dann ist mir das Backend recht egal.
Halt so, wie bei den Smartphones, die ab 2024 Großsensorkameras übertreffen ;-)dienstag_01 hat geschrieben: ↑So 26 Nov, 2023 14:23 Ja, das wird wunderbar funktioneren. Auf der Basis, dass alle die gleichen Bilder machen/mögen.
