Gemischt Forum



Sony: Smartphones übertreffen Großsensorkameras ab 2024



Der Joker unter den Foren -- für alles, was mehrere Kategorien gleichzeitig betrifft, oder in keine paßt
Antworten
cantsin
Beiträge: 12026

Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Fr 03 Jun, 2022 11:52

In einer firmeninternen Präsentation sagt Sony voraus, dass Smartphone-Kameras ab dem Jahr 2024 die Bildqualität von Wechselobjektivkameras ("ILCs", also DSLRs und Spiegellosen) übertreffen werden:

Bild

Wobei anzunehmen ist, dass sich das auf Stills und (noch) nicht auf Bewegtbild bezieht.

[Und mich interessiert, was sie mit "High Quantum Saturation Technology" meinen, die sie neben Sensorpixelgröße und KI als entscheidende Faktoren dieser Qualitätsverbesserung nennen. Ist damit eine höhere Full-Well-Kapazität von Smartphone-Kamerasensoren gemeint?]




cantsin
Beiträge: 12026

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Mo 03 Okt, 2022 16:54

Dazu gibt's jetzt auch noch einen Nachschlag von Qualcomm bzw. eine praktisch gleiche Prognose:
https://www.androidauthority.com/smartp ... w-3183730/

DeepL-(KI...-) Übersetzung:
"KI ist eine der größten Entwicklungen im Bereich der Kameras, und Judd Heape, der führende Kamera-Entwickler bei Qualcomm, glaubt, dass sie in Zukunft den gesamten Bildaufnahmeprozess übernehmen könnte.

Der Einsatz von KI hat sich seit den 2018 erstmals vorgestellten Modi weiterentwickelt, aber Heape erklärt, dass KI in der Fotografie in vier Stufen unterteilt werden kann.

Die erste Stufe ist recht einfach: KI wird eingesetzt, um ein bestimmtes Objekt in einem Bild oder einer Szene zu erkennen. In der zweiten Stufe steuert die KI die sogenannten 3A-Funktionen, nämlich Autofokus, automatischen Weißabgleich und automatische Belichtung. Der Qualcomm-Ingenieur geht davon aus, dass sich die Branche derzeit in der dritten Phase der KI-Fotografie befindet, in der die KI eingesetzt wird, um die verschiedenen Segmente oder Elemente der Szene zu erkennen.

Laut Heape sind wir etwa drei bis fünf Jahre von dem heiligen Gral entfernt, bei dem KI das gesamte Bild verarbeitet:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Ich möchte, dass das Bild wie diese National Geographic-Szene aussieht", und die KI-Engine sagt: "Okay, ich werde die Farben, die Textur, den Weißabgleich und alles andere so anpassen, dass es wie das Bild aussieht, das Sie mir gerade gezeigt haben".

[...]

Sony hat Anfang des Jahres einige interessante Behauptungen aufgestellt, als ein Manager vorhersagte, dass Fotos von Smartphones in den nächsten Jahren die Bilder von DSLR-Kameras übertreffen werden. Das ist leicht auszumalen, wenn man den Fortschritt berücksichtigt, der bei Smartphones durch bessere Bildverarbeitung erzielt wurde. Aber Telefone haben aufgrund ihres dünneren Formfaktors im Vergleich zu DSLRs immer noch kleinere Komponenten.

Dies räumt Heape ein, obwohl er nach wie vor davon ausgeht, dass Smartphones herkömmliche Kameras hinter sich lassen werden. "Wenn es darum geht, die Bildqualität einer DSLR zu erreichen, ja. Ich denke, der Bildsensor ist so weit, und ich glaube, dass die Innovationen, die in mobile Bildsensoren einfließen, wahrscheinlich schneller und fortschrittlicher sind als in der übrigen Branche."

Er führt weiter aus, dass die in Smartphones verfügbare Prozessorleistung einen erheblichen Vorteil gegenüber DSLR-Kameras darstellt:

Das Processing im Snapdragon ist zehnmal besser als bei den größten und leistungsfähigsten Kameras von Nikon und Canon. Deshalb sind wir in der Lage, bei der Bildqualität neue Maßstäbe zu setzen. Denn obwohl wir ein kleines Objektiv und einen kleinen Bildsensor haben, verarbeiten wir ein Vielfaches von dem, was eine DSLR-Kamera leisten kann."
Also, einfacher ausgedrückt: die Reise geht hin zur Verschmelzung von Smartphone-Fotografie und den heutigen KI-Bildgeneratoren wie DALL-E und Stable Diffusion. Die Smartphones werden eine ähnliche KI haben wie das heutige "img2img"-Modul von Stable Diffusion, das bereits solche Transformationen beherrscht:

Bild

Und die 3-5 Jahre prognostizierte Entwicklungszeit sind wahrscheinlich noch nötig für Smartphone-SoCs, die diese Hochrechnungen hardwareoptimiert ausführen können.




roki100
Beiträge: 12523

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von roki100 » Mo 03 Okt, 2022 17:07

Das liest sich wie damals im Jahr 1995, als es darum ging, wie Autos im Jahr 2000 aussehen werden:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Bring mich nach New York", und die KI-Engine sagt: "Okay, ich fahre dich nach New York".

Smartphone-Kameras ersetzt doch jetzt schon einiges, doch es gibt eben auch etwas anderes, was nicht ersetzbar ist... auch wenn das andere nur spaß am Fotografieren mit ne echte Kamera heißt.
Jesus und das (zweite) Gebot: "Du sollst deinen Nächsten lieben wie dich selbst!’
SlashCam-User und das (erste) Gebot über alles: "Du sollst deine Kamera lieben wie dich selbst!"

Zuletzt geändert von roki100 am Mo 03 Okt, 2022 17:09, insgesamt 1-mal geändert.




cantsin
Beiträge: 12026

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Mo 03 Okt, 2022 17:09

roki100 hat geschrieben:
Mo 03 Okt, 2022 17:07
Das liest sich wie damals im Jahr 1995, als es darum ging, wie Autos im Jahr 2000 aussehen werden:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Bring mich nach New York", und die KI-Engine sagt: "Okay, ich fahre dich nach New York".
Wenn Du mal mit DALL-E oder Stable Diffusion experimentierst, geht das genau das - aber natürlich nur als Bild.




dienstag_01
Beiträge: 12174

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von dienstag_01 » Mo 03 Okt, 2022 23:57

Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)




cantsin
Beiträge: 12026

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Di 04 Okt, 2022 00:17

dienstag_01 hat geschrieben:
Mo 03 Okt, 2022 23:57
Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen [inkl. in RawTherapee einstellbarer Debayer-Algorithmen und optional undebayerter RGGB- Bildanzeige - also wirklich keine debayerten 16bit-TIFFs im DNG-Container].

Aber in diese DNGs steckt trotzdem bereits die ganze 'computational photography' bzw. KI-Prozessierung des Telefons (auf der heutigen "Stufe 3", wie sie der Qualcomm-Manager nennt), inkl. HDR-Zusammenrechnung von Bildreihen mit Tonemapping und temporaler Entrauschung. Wenn man diese DNGs dann im Raw-Konverter öffnet, sind die immer perfekt belichtet - bis hin zu Spitzlichtern, die im Waveform-Monitor genau oben sitzen, aber nicht clippen.

Genaugenommen ist das bereits die KI-Simulation einer Raw-Datei.

Dazu gibt's auch ein schönes Interview mit jemandem, der am MIT zu diesem Thema arbeitet:


Money quote des MIT-Forschers: "Photo realism is dead. We should just bury it, and it's all about hallucination".




dienstag_01
Beiträge: 12174

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von dienstag_01 » Di 04 Okt, 2022 00:31

cantsin hat geschrieben:
Di 04 Okt, 2022 00:17
dienstag_01 hat geschrieben:
Mo 03 Okt, 2022 23:57
Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen [inkl. in RawTherapee einstellbarer Debayer-Algorithmen und optional undebayerter RGGB- Bildanzeige - also wirklich keine debayerten 16bit-TIFFs im DNG-Container].

Aber in diese DNGs steckt trotzdem bereits die ganze 'computational photography' bzw. KI-Prozessierung des Telefons (auf der heutigen "Stufe 3", wie sie der Qualcomm-Manager nennt), inkl. HDR-Zusammenrechnung von Bildreihen mit Tonemapping und temporaler Entrauschung. Wenn man diese DNGs dann im Raw-Konverter öffnet, sind die immer perfekt belichtet - bis hin zu Spitzlichtern, die im Waveform-Monitor genau oben sitzen, aber nicht clippen.

Genaugenommen ist das bereits die KI-Simulation einer Raw-Datei.

Dazu gibt's auch ein schönes Interview mit jemandem, der am MIT zu diesem Thema arbeitet:


Money quote des MIT-Forschers: "Photo realism is dead. We should just bury it, and it's all about hallucination".
Oder eher: Das ist die RAW-Simulation einer KI-Datei ;)
Weil, das Wesentliche ist das KI-generierte Bild.




soulbrother
Beiträge: 146

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von soulbrother » Di 04 Okt, 2022 08:53

ja, alls ganz nett, hat aber mit der Abbildung der Realität nicht mehr viel zu tun.
Daher werde ich "RAW" ab sofort mit "echt" (weil ohne KI Änderungen/Manipulation) ergänzen).




vaio
Beiträge: 972

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von vaio » Di 04 Okt, 2022 09:25

Bei „KI“ sollte eigentlich unterschieden werden, ob es für realitätsnähere Aufnahmen genutzt wird - quasi als Ergänzung zur verbauten (bauartbedingt limitierten oder/und preiswerteren) Kameratechnik, oder ob es für einen bestimmten Look verwendet wird. Die Kombination von beiden ist vermutlich am häufigsten anzutreffen.
Ich habe das Gefühl, dass der Begriff „KI“ mittlerweile in jeder App u. Hardware marketingmäßig Verwendung findet. Ähnlich wie in den 90‘er „Multimedia“.
Zurück in die Zukunft




cantsin
Beiträge: 12026

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Di 04 Okt, 2022 13:02

vaio hat geschrieben:
Di 04 Okt, 2022 09:25
Bei „KI“ sollte eigentlich unterschieden werden, ob es für realitätsnähere Aufnahmen genutzt wird - quasi als Ergänzung zur verbauten (bauartbedingt limitierten oder/und preiswerteren) Kameratechnik, oder ob es für einen bestimmten Look verwendet wird. Die Kombination von beiden ist vermutlich am häufigsten anzutreffen.
Ich habe das Gefühl, dass der Begriff „KI“ mittlerweile in jeder App u. Hardware marketingmäßig Verwendung findet. Ähnlich wie in den 90‘er „Multimedia“.
In der Forschung ist KI ein weites Gebiet, aber in der Industrie bzw. kommerziellen Anwendung ist "KI" (AI) seit einem guten Jahrzehnt gleichbedeutend mit auf neuronalen Netzen basiertem machine learning bzw. Deep Learning.

Und wenn man sich dann Kameratechnologie ansieht, ist es in der Tat so, wie es der Qualcomm-Manager beschreibt:
  • Stufe 1 ist Autofokus mit machine learning-basierter Gesichts- und Objekterkennung. Da sind heute alle Kameras (bis auf Cine-Kameras von Blackmagic, ZCam & Co.).
  • Stufe 2 ist automatischer Weißabgleich, automatische Belichtung und Autofokus auf der Basis von machine learning.
    Wenn man mal sieht, wie (manchmal verblüffend) gut Auto-WB und automatische Belichtung mittlerweile bei allen mir bekannten heutigen Spiegelloskameras (Canon, Fuji, Panasonic, Sony) funktionieren, selbst bei Mischlichtsituationen oder bei Lichtsituationen, wo ein Farbstich nicht durch platten Auto-WB neutralisiert werden soll (wie z.B. ein Foto im Kerzenschein, bei dem praktisch alle heutigen Auto-WBs die nötige warme Farbtemperatur setzen), gehe ich schwer davon aus, dass diese Automatiken allesamt auf machine learning basieren, bzw. mit training sets von gut belichteten und gut farbbalancierten Bildern gefüttert wurden, und auf Grund dieser Motiverkennung den WB und die Belichtung steuern.
  • Stufe 3 ist HDR compositing, wo aus Hochgeschwindigkeits-Fotoserien, die z.T. mit unterschiedlicher Belichtung aufgenommen wurden [bei Quad-Bayer-Sensoren möglicherweise sogar simultan mit den zwei nativen ISOs des Sensors] ein Bild mit höherem Dynamikumfang und (dank temporal denoising) geringerem Bildrauschen zusammengerechnet wird.

    Hier scheiden praktisch alle herkömmlichen Kameras aus, weil man dazu elektronischen Verschluss, ultrahohe Serienbildraten + hohe Prozessorleistung braucht. Wie der Qualcomm-Entwickler sagt, geht das mit den heutigen Mobilkamerachips, weil die ungefähr die zehnfache Rechenleistung der Chips haben, die in herkömmlichen Kameras stecken.
    Und wie er auch sagt - und wie es in dem YouTube-Video mit dem MIT-Forscher noch detailliert erklärt wird -, wird da nicht einfach ein simples 08/15-Tone Mapping gemacht, sondern basiert das Tone Mapping und Compositing auf Deep Learning-basierter Motiverkennung der verschiedenen Bildteile - so dass die Kamera z.B. "weiss", dass sie (wie in dem Beispiel des Konzertfotos im oben verlinkten Wired-YouTube-Video) Gesichter in einer dunklen Zuschauermenge in der Belichtung hochziehen muss.
  • Stufe 4, die es noch nicht als Produkt gibt bzw. nur als Prototyp bei Dall-E ("Outpainting"), Stable Diffusion ("img2img") & Co., ist dann, dass die KI die Bilder vom Smartphone-Sensor quasi nur noch als Bildskizze plus automatisch erkanntem Input-prompt (wie: "Foto eines Konzerts mit einer Menschenmenge vor der Bühne") verwendet und dann zu einem virtuellen DSLR- oder Hasselblad-Foto hochrechnet, und zwar mit denselben Methoden wie Dall-E & Co (also durch Ersetzen der durch die Kamera aufgenommenen Bildteile durch Bildelemente aus der eigenen Bibliothek).




rush
Beiträge: 12992

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von rush » Mi 02 Nov, 2022 09:41

Xiaomi trifft auf den Leica M Mount...

Gerüchte, Techdemo oder in Kürze Realität?

Damit könnte in der Tat der Beginn einer neuen Ära beginnen in der klassische Kameras immer weniger Bedeutung erhalten... Ähnliche Konzepte hat es ja immer Mal wieder gegeben - aber mit dem M Mount wäre das schon eine wirklich interessante Variante wo die Sensoren immer größer werden...

keep ya head up




cantsin
Beiträge: 12026

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Mi 02 Nov, 2022 09:56

rush hat geschrieben:
Mi 02 Nov, 2022 09:41
Xiaomi trifft auf den Leica M Mount...
Das ist nur eine symbolische Illustration der Zusammenarbeit von Xiaomi mit Leica.

Das Smartphone wird keinen M-Mount haben (was bei 1" Sensorgröße bzw. Verlängerungsfaktor 2,8 ggü. Kleinbild auch nicht sonderlich sinnvoll wäre).




Darth Schneider
Beiträge: 13773

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von Darth Schneider » Mi 02 Nov, 2022 09:59

Ist doch nur eine Frage der Zeit, dann werkeln MFT Sensoren in Smartphones…
Gruss Boris




rush
Beiträge: 12992

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von rush » Mi 02 Nov, 2022 10:09

cantsin hat geschrieben:
Mi 02 Nov, 2022 09:56
rush hat geschrieben:
Mi 02 Nov, 2022 09:41
Xiaomi trifft auf den Leica M Mount...
Das ist nur eine symbolische Illustration der Zusammenarbeit von Xiaomi mit Leica.

Das Smartphone wird keinen M-Mount haben (was bei 1" Sensorgröße bzw. Verlängerungsfaktor 2,8 ggü. Kleinbild auch nicht sonderlich sinnvoll wäre).
Damit wären doch schöne Telebrennweiten möglich :-)
keep ya head up




markusG
Beiträge: 3170

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von markusG » Do 03 Nov, 2022 07:17

Darth Schneider hat geschrieben:
Mi 02 Nov, 2022 09:59
Ist doch nur eine Frage der Zeit, dann werkeln MFT Sensoren in Smartphones…
Gruss Boris
Ne das gab es schon, ist leider geflopt. Auch die Aufsätze mit größeren Sensor (Olympus, Sony). Die Zukunft bleibt klein :P




Darth Schneider
Beiträge: 13773

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von Darth Schneider » Do 03 Nov, 2022 07:24

Du hast recht. Wenn die Smartphones dann zu bullig werden, dann kaufen die Leute das Teil nicht, grosser Sensor hin oder her….
Grosser Screen ist jedoch dann doch egal…;)
Gruss Boris




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Einschmelzgerät für Einpressmuttern
von DAF - So 16:51
» Präzises USB-Amperemeter
von DAF - So 16:48
» Oscars 2023: Mit welchen Kameras wurden die nominierten Filme gedreht?
von philr - So 15:40
» -SONY FX- Erfahrungsaustausch
von Darth Schneider - So 15:39
» Was hörst Du gerade?
von 7River - So 15:33
» Premiere Pro 2023 Effekt verursacht Geisterbild
von Alex - So 14:49
» Cinecred: Professionelle Film-Abspänne einfach per kostenlosem Tool erstellen
von LoadingByte - So 12:15
» Interessant, provokant, oder einfach nur dämlich?
von klusterdegenerierung - So 11:48
» Kann die HDC-SD707 auch mit 256-GB-Karten arbeiten?
von DrRobbi - So 10:10
» Neue Apple Mac mini und MacBook Pro Modelle mit M2, M2 Pro und M2 Max
von Axel - So 9:56
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - So 9:33
» Dehancer Film PlugIn für Capture One
von ChaWe23 - So 9:19
» Was schaust Du gerade?
von 7River - So 9:03
» MacBook Pro 16“ M2 Max im Performance-Test mit ARRI, Canon, Sony, Panasonic, Blackmagic …
von rob - So 8:45
» Sony Future Filmmaker Awards 2023: Hier sind die Trailer der Shortlist ...
von Darth Schneider - So 1:38
» slashcam-culture
von Bluboy - So 0:16
» Kamera für Bühnenshow
von DAF - Sa 22:17
» Videodateien retten nach Formatierung?
von DrRobbi - Sa 17:46
» UHD/4K 30p oder FHD 50p?
von DrRobbi - Sa 16:41
» Spaß mit NVIDIAs neuem Blickkontakt-Effekt: Robert De Niro schaut Dir in die Augen
von dienstag_01 - Sa 14:06
» Biete: 2 Kamera Akkus (1x Sony BP-IL75)
von Vince - Sa 11:07
» Ton mischen in der Sony Z90?
von rush - Sa 7:40
» BRAW Toolbox - Blackmagic RAW Import in FCPX ab Montag verfügbar
von Axel - Fr 22:32
» Manta, Manta - Zwoter Teil — Til Schweiger/Michael David Pate/Miguel Angelo Pate
von macaw - Fr 21:59
» Okay, ich denke das mit der AI ist jetzt offiziell durch
von berlin123 - Fr 20:12
» Videoleuchte mit DMX Steuerung – Rollei Lumen 150
von DAF - Fr 17:51
» Welchsel auf L-Mount: EF-Linsen & Adapter Sigma MC21 vs Viltrox vs Commlite AdapterCM EF L?
von Darth Schneider - Fr 17:44
» Viltrox AF 13mm f/1.4 XF Fujifilm X Mount
von Jörg - Fr 17:27
» Frage zum workflow CineMatch + Adobe Premiere
von dienstag_01 - Fr 14:48
» Jetzt auch für Resolve (Mac): Automatische Transkription von Simon Says
von dienstag_01 - Fr 13:41
» BRAW Toolbox für FCPX
von R S K - Fr 12:36
» Sony a7s iii AF pumpt
von Pianist - Fr 10:31
» Nosferatu — Robert Eggers
von Map die Karte - Fr 6:06
» Visuelles Dubbing per KI macht jeden Schauspieler zum Mehrfach-Muttersprachler
von Frank Glencairn - Do 23:37
» Mobiles Live-Streaming?
von DAF - Do 22:59
 
neuester Artikel
 
Test: MacBook Pro M2 Max

Mit dem neuen M2 Max Prozessor stell Apple seinen bislang leistungsstärksten Notebook-Prozessor vor. Mit jetzt 12 CPU- und 38 GPU-Kernen tritt Apples aktuellstes Unified Memory-Design an, nochmal mehr Performance für die Bereiche Videoschnitt, Compositing und Farbkorrektur zur Verfügung zu stellen. Wie dieser Performance-Zuwachs in der Schnitt-Praxis aussieht, klärt unser erster Test des neuen MacBook Pro mit M2 Max Prozessor mit diversem 10-16 Bit Videomaterial. weiterlesen>>

Test: Sennheiser MKH 8060

Die 8000er Serie stellt die aktuellste Version von Sennheisers weit etablierter, professioneller MKH-Serie dar. Innerhalb des 8000er Mikrofon-Portfolios ordnet Sennheiser dem (aktuell kaum verfügbaren) MKH 8060 Richtrohrmikrofon die Anwendungsbereiche Spiel- und Dokumentarfilm, Outdoor- sowie Studioaufnahmen zu. Damit darf es durchaus auch als moderne Variante des Sennheiser MKH 416 gelten, das nach wie vor das Richtrohr-Referenzmikrofon bei slashCAM darstellt - Zeit für eine neue Referenz? weiterlesen>>