Gemischt Forum



Sony: Smartphones übertreffen Großsensorkameras ab 2024



Der Joker unter den Foren -- für alles, was mehrere Kategorien gleichzeitig betrifft, oder in keine paßt
Antworten
cantsin
Beiträge: 11785

Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Fr 03 Jun, 2022 11:52

In einer firmeninternen Präsentation sagt Sony voraus, dass Smartphone-Kameras ab dem Jahr 2024 die Bildqualität von Wechselobjektivkameras ("ILCs", also DSLRs und Spiegellosen) übertreffen werden:

Bild

Wobei anzunehmen ist, dass sich das auf Stills und (noch) nicht auf Bewegtbild bezieht.

[Und mich interessiert, was sie mit "High Quantum Saturation Technology" meinen, die sie neben Sensorpixelgröße und KI als entscheidende Faktoren dieser Qualitätsverbesserung nennen. Ist damit eine höhere Full-Well-Kapazität von Smartphone-Kamerasensoren gemeint?]




cantsin
Beiträge: 11785

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Mo 03 Okt, 2022 16:54

Dazu gibt's jetzt auch noch einen Nachschlag von Qualcomm bzw. eine praktisch gleiche Prognose:
https://www.androidauthority.com/smartp ... w-3183730/

DeepL-(KI...-) Übersetzung:
"KI ist eine der größten Entwicklungen im Bereich der Kameras, und Judd Heape, der führende Kamera-Entwickler bei Qualcomm, glaubt, dass sie in Zukunft den gesamten Bildaufnahmeprozess übernehmen könnte.

Der Einsatz von KI hat sich seit den 2018 erstmals vorgestellten Modi weiterentwickelt, aber Heape erklärt, dass KI in der Fotografie in vier Stufen unterteilt werden kann.

Die erste Stufe ist recht einfach: KI wird eingesetzt, um ein bestimmtes Objekt in einem Bild oder einer Szene zu erkennen. In der zweiten Stufe steuert die KI die sogenannten 3A-Funktionen, nämlich Autofokus, automatischen Weißabgleich und automatische Belichtung. Der Qualcomm-Ingenieur geht davon aus, dass sich die Branche derzeit in der dritten Phase der KI-Fotografie befindet, in der die KI eingesetzt wird, um die verschiedenen Segmente oder Elemente der Szene zu erkennen.

Laut Heape sind wir etwa drei bis fünf Jahre von dem heiligen Gral entfernt, bei dem KI das gesamte Bild verarbeitet:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Ich möchte, dass das Bild wie diese National Geographic-Szene aussieht", und die KI-Engine sagt: "Okay, ich werde die Farben, die Textur, den Weißabgleich und alles andere so anpassen, dass es wie das Bild aussieht, das Sie mir gerade gezeigt haben".

[...]

Sony hat Anfang des Jahres einige interessante Behauptungen aufgestellt, als ein Manager vorhersagte, dass Fotos von Smartphones in den nächsten Jahren die Bilder von DSLR-Kameras übertreffen werden. Das ist leicht auszumalen, wenn man den Fortschritt berücksichtigt, der bei Smartphones durch bessere Bildverarbeitung erzielt wurde. Aber Telefone haben aufgrund ihres dünneren Formfaktors im Vergleich zu DSLRs immer noch kleinere Komponenten.

Dies räumt Heape ein, obwohl er nach wie vor davon ausgeht, dass Smartphones herkömmliche Kameras hinter sich lassen werden. "Wenn es darum geht, die Bildqualität einer DSLR zu erreichen, ja. Ich denke, der Bildsensor ist so weit, und ich glaube, dass die Innovationen, die in mobile Bildsensoren einfließen, wahrscheinlich schneller und fortschrittlicher sind als in der übrigen Branche."

Er führt weiter aus, dass die in Smartphones verfügbare Prozessorleistung einen erheblichen Vorteil gegenüber DSLR-Kameras darstellt:

Das Processing im Snapdragon ist zehnmal besser als bei den größten und leistungsfähigsten Kameras von Nikon und Canon. Deshalb sind wir in der Lage, bei der Bildqualität neue Maßstäbe zu setzen. Denn obwohl wir ein kleines Objektiv und einen kleinen Bildsensor haben, verarbeiten wir ein Vielfaches von dem, was eine DSLR-Kamera leisten kann."
Also, einfacher ausgedrückt: die Reise geht hin zur Verschmelzung von Smartphone-Fotografie und den heutigen KI-Bildgeneratoren wie DALL-E und Stable Diffusion. Die Smartphones werden eine ähnliche KI haben wie das heutige "img2img"-Modul von Stable Diffusion, das bereits solche Transformationen beherrscht:

Bild

Und die 3-5 Jahre prognostizierte Entwicklungszeit sind wahrscheinlich noch nötig für Smartphone-SoCs, die diese Hochrechnungen hardwareoptimiert ausführen können.




roki100
Beiträge: 12523

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von roki100 » Mo 03 Okt, 2022 17:07

Das liest sich wie damals im Jahr 1995, als es darum ging, wie Autos im Jahr 2000 aussehen werden:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Bring mich nach New York", und die KI-Engine sagt: "Okay, ich fahre dich nach New York".

Smartphone-Kameras ersetzt doch jetzt schon einiges, doch es gibt eben auch etwas anderes, was nicht ersetzbar ist... auch wenn das andere nur spaß am Fotografieren mit ne echte Kamera heißt.
Jesus und das (zweite) Gebot: "Du sollst deinen Nächsten lieben wie dich selbst!’
SlashCam-User und das (erste) Gebot über alles: "Du sollst deine Kamera lieben wie dich selbst!"

Zuletzt geändert von roki100 am Mo 03 Okt, 2022 17:09, insgesamt 1-mal geändert.




cantsin
Beiträge: 11785

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Mo 03 Okt, 2022 17:09

roki100 hat geschrieben:
Mo 03 Okt, 2022 17:07
Das liest sich wie damals im Jahr 1995, als es darum ging, wie Autos im Jahr 2000 aussehen werden:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Bring mich nach New York", und die KI-Engine sagt: "Okay, ich fahre dich nach New York".
Wenn Du mal mit DALL-E oder Stable Diffusion experimentierst, geht das genau das - aber natürlich nur als Bild.




dienstag_01
Beiträge: 12050

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von dienstag_01 » Mo 03 Okt, 2022 23:57

Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)




cantsin
Beiträge: 11785

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Di 04 Okt, 2022 00:17

dienstag_01 hat geschrieben:
Mo 03 Okt, 2022 23:57
Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen [inkl. in RawTherapee einstellbarer Debayer-Algorithmen und optional undebayerter RGGB- Bildanzeige - also wirklich keine debayerten 16bit-TIFFs im DNG-Container].

Aber in diese DNGs steckt trotzdem bereits die ganze 'computational photography' bzw. KI-Prozessierung des Telefons (auf der heutigen "Stufe 3", wie sie der Qualcomm-Manager nennt), inkl. HDR-Zusammenrechnung von Bildreihen mit Tonemapping und temporaler Entrauschung. Wenn man diese DNGs dann im Raw-Konverter öffnet, sind die immer perfekt belichtet - bis hin zu Spitzlichtern, die im Waveform-Monitor genau oben sitzen, aber nicht clippen.

Genaugenommen ist das bereits die KI-Simulation einer Raw-Datei.

Dazu gibt's auch ein schönes Interview mit jemandem, der am MIT zu diesem Thema arbeitet:


Money quote des MIT-Forschers: "Photo realism is dead. We should just bury it, and it's all about hallucination".




dienstag_01
Beiträge: 12050

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von dienstag_01 » Di 04 Okt, 2022 00:31

cantsin hat geschrieben:
Di 04 Okt, 2022 00:17
dienstag_01 hat geschrieben:
Mo 03 Okt, 2022 23:57
Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen [inkl. in RawTherapee einstellbarer Debayer-Algorithmen und optional undebayerter RGGB- Bildanzeige - also wirklich keine debayerten 16bit-TIFFs im DNG-Container].

Aber in diese DNGs steckt trotzdem bereits die ganze 'computational photography' bzw. KI-Prozessierung des Telefons (auf der heutigen "Stufe 3", wie sie der Qualcomm-Manager nennt), inkl. HDR-Zusammenrechnung von Bildreihen mit Tonemapping und temporaler Entrauschung. Wenn man diese DNGs dann im Raw-Konverter öffnet, sind die immer perfekt belichtet - bis hin zu Spitzlichtern, die im Waveform-Monitor genau oben sitzen, aber nicht clippen.

Genaugenommen ist das bereits die KI-Simulation einer Raw-Datei.

Dazu gibt's auch ein schönes Interview mit jemandem, der am MIT zu diesem Thema arbeitet:


Money quote des MIT-Forschers: "Photo realism is dead. We should just bury it, and it's all about hallucination".
Oder eher: Das ist die RAW-Simulation einer KI-Datei ;)
Weil, das Wesentliche ist das KI-generierte Bild.




soulbrother
Beiträge: 133

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von soulbrother » Di 04 Okt, 2022 08:53

ja, alls ganz nett, hat aber mit der Abbildung der Realität nicht mehr viel zu tun.
Daher werde ich "RAW" ab sofort mit "echt" (weil ohne KI Änderungen/Manipulation) ergänzen).




vaio
Beiträge: 914

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von vaio » Di 04 Okt, 2022 09:25

Bei „KI“ sollte eigentlich unterschieden werden, ob es für realitätsnähere Aufnahmen genutzt wird - quasi als Ergänzung zur verbauten (bauartbedingt limitierten oder/und preiswerteren) Kameratechnik, oder ob es für einen bestimmten Look verwendet wird. Die Kombination von beiden ist vermutlich am häufigsten anzutreffen.
Ich habe das Gefühl, dass der Begriff „KI“ mittlerweile in jeder App u. Hardware marketingmäßig Verwendung findet. Ähnlich wie in den 90‘er „Multimedia“.
Zurück in die Zukunft




cantsin
Beiträge: 11785

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Di 04 Okt, 2022 13:02

vaio hat geschrieben:
Di 04 Okt, 2022 09:25
Bei „KI“ sollte eigentlich unterschieden werden, ob es für realitätsnähere Aufnahmen genutzt wird - quasi als Ergänzung zur verbauten (bauartbedingt limitierten oder/und preiswerteren) Kameratechnik, oder ob es für einen bestimmten Look verwendet wird. Die Kombination von beiden ist vermutlich am häufigsten anzutreffen.
Ich habe das Gefühl, dass der Begriff „KI“ mittlerweile in jeder App u. Hardware marketingmäßig Verwendung findet. Ähnlich wie in den 90‘er „Multimedia“.
In der Forschung ist KI ein weites Gebiet, aber in der Industrie bzw. kommerziellen Anwendung ist "KI" (AI) seit einem guten Jahrzehnt gleichbedeutend mit auf neuronalen Netzen basiertem machine learning bzw. Deep Learning.

Und wenn man sich dann Kameratechnologie ansieht, ist es in der Tat so, wie es der Qualcomm-Manager beschreibt:
  • Stufe 1 ist Autofokus mit machine learning-basierter Gesichts- und Objekterkennung. Da sind heute alle Kameras (bis auf Cine-Kameras von Blackmagic, ZCam & Co.).
  • Stufe 2 ist automatischer Weißabgleich, automatische Belichtung und Autofokus auf der Basis von machine learning.
    Wenn man mal sieht, wie (manchmal verblüffend) gut Auto-WB und automatische Belichtung mittlerweile bei allen mir bekannten heutigen Spiegelloskameras (Canon, Fuji, Panasonic, Sony) funktionieren, selbst bei Mischlichtsituationen oder bei Lichtsituationen, wo ein Farbstich nicht durch platten Auto-WB neutralisiert werden soll (wie z.B. ein Foto im Kerzenschein, bei dem praktisch alle heutigen Auto-WBs die nötige warme Farbtemperatur setzen), gehe ich schwer davon aus, dass diese Automatiken allesamt auf machine learning basieren, bzw. mit training sets von gut belichteten und gut farbbalancierten Bildern gefüttert wurden, und auf Grund dieser Motiverkennung den WB und die Belichtung steuern.
  • Stufe 3 ist HDR compositing, wo aus Hochgeschwindigkeits-Fotoserien, die z.T. mit unterschiedlicher Belichtung aufgenommen wurden [bei Quad-Bayer-Sensoren möglicherweise sogar simultan mit den zwei nativen ISOs des Sensors] ein Bild mit höherem Dynamikumfang und (dank temporal denoising) geringerem Bildrauschen zusammengerechnet wird.

    Hier scheiden praktisch alle herkömmlichen Kameras aus, weil man dazu elektronischen Verschluss, ultrahohe Serienbildraten + hohe Prozessorleistung braucht. Wie der Qualcomm-Entwickler sagt, geht das mit den heutigen Mobilkamerachips, weil die ungefähr die zehnfache Rechenleistung der Chips haben, die in herkömmlichen Kameras stecken.
    Und wie er auch sagt - und wie es in dem YouTube-Video mit dem MIT-Forscher noch detailliert erklärt wird -, wird da nicht einfach ein simples 08/15-Tone Mapping gemacht, sondern basiert das Tone Mapping und Compositing auf Deep Learning-basierter Motiverkennung der verschiedenen Bildteile - so dass die Kamera z.B. "weiss", dass sie (wie in dem Beispiel des Konzertfotos im oben verlinkten Wired-YouTube-Video) Gesichter in einer dunklen Zuschauermenge in der Belichtung hochziehen muss.
  • Stufe 4, die es noch nicht als Produkt gibt bzw. nur als Prototyp bei Dall-E ("Outpainting"), Stable Diffusion ("img2img") & Co., ist dann, dass die KI die Bilder vom Smartphone-Sensor quasi nur noch als Bildskizze plus automatisch erkanntem Input-prompt (wie: "Foto eines Konzerts mit einer Menschenmenge vor der Bühne") verwendet und dann zu einem virtuellen DSLR- oder Hasselblad-Foto hochrechnet, und zwar mit denselben Methoden wie Dall-E & Co (also durch Ersetzen der durch die Kamera aufgenommenen Bildteile durch Bildelemente aus der eigenen Bibliothek).




rush
Beiträge: 12924

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von rush » Mi 02 Nov, 2022 09:41

Xiaomi trifft auf den Leica M Mount...

Gerüchte, Techdemo oder in Kürze Realität?

Damit könnte in der Tat der Beginn einer neuen Ära beginnen in der klassische Kameras immer weniger Bedeutung erhalten... Ähnliche Konzepte hat es ja immer Mal wieder gegeben - aber mit dem M Mount wäre das schon eine wirklich interessante Variante wo die Sensoren immer größer werden...

keep ya head up




cantsin
Beiträge: 11785

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von cantsin » Mi 02 Nov, 2022 09:56

rush hat geschrieben:
Mi 02 Nov, 2022 09:41
Xiaomi trifft auf den Leica M Mount...
Das ist nur eine symbolische Illustration der Zusammenarbeit von Xiaomi mit Leica.

Das Smartphone wird keinen M-Mount haben (was bei 1" Sensorgröße bzw. Verlängerungsfaktor 2,8 ggü. Kleinbild auch nicht sonderlich sinnvoll wäre).




Darth Schneider
Beiträge: 12905

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von Darth Schneider » Mi 02 Nov, 2022 09:59

Ist doch nur eine Frage der Zeit, dann werkeln MFT Sensoren in Smartphones…
Gruss Boris




rush
Beiträge: 12924

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von rush » Mi 02 Nov, 2022 10:09

cantsin hat geschrieben:
Mi 02 Nov, 2022 09:56
rush hat geschrieben:
Mi 02 Nov, 2022 09:41
Xiaomi trifft auf den Leica M Mount...
Das ist nur eine symbolische Illustration der Zusammenarbeit von Xiaomi mit Leica.

Das Smartphone wird keinen M-Mount haben (was bei 1" Sensorgröße bzw. Verlängerungsfaktor 2,8 ggü. Kleinbild auch nicht sonderlich sinnvoll wäre).
Damit wären doch schöne Telebrennweiten möglich :-)
keep ya head up




markusG
Beiträge: 2968

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von markusG » Do 03 Nov, 2022 07:17

Darth Schneider hat geschrieben:
Mi 02 Nov, 2022 09:59
Ist doch nur eine Frage der Zeit, dann werkeln MFT Sensoren in Smartphones…
Gruss Boris
Ne das gab es schon, ist leider geflopt. Auch die Aufsätze mit größeren Sensor (Olympus, Sony). Die Zukunft bleibt klein :P




Darth Schneider
Beiträge: 12905

Re: Sony: Smartphones übertreffen Großsensorkameras ab 2024

Beitrag von Darth Schneider » Do 03 Nov, 2022 07:24

Du hast recht. Wenn die Smartphones dann zu bullig werden, dann kaufen die Leute das Teil nicht, grosser Sensor hin oder her….
Grosser Screen ist jedoch dann doch egal…;)
Gruss Boris




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Weiteres RED Patent im Zusammenhang mit komprimiertem RAW
von pillepalle - Di 21:38
» Welche Bitrate bei Videos ist sinnvoll?
von CoDuck - Di 21:27
» Datenschutz mal anders...... in der Wasseruhr.
von Bluboy - Di 21:18
» KI macht´s möglich: Fake-Filmstills von Fritz Langs Star Wars, Jodorowskys Tron, Peter Jacksons Batman und mehr
von tom - Di 20:02
» Bluetooth Mikrofon -Hörgeschädigte
von gunman - Di 19:59
» Was schaust Du gerade?
von Jan - Di 19:41
» DJI Mini 3: Neue Einsteiger-Drohne im Anflug
von klusterdegenerierung - Di 19:02
» Foto- vs. Filmobjektive.
von cantsin - Di 18:55
» Sony A7S III erste Erfahrungen, Bugs, Problemlösungen,...
von Axel - Di 17:49
» Blackmagic DaVinci Resolve für iPad Pro: Ultramobiler Videoschnitt mit Farbkorrektur
von Axel - Di 17:24
» Sony FR7 erhält als erste PTZ-Kamera Netflix Zertifizierung
von CineFilm - Di 17:10
» Was hast Du zuletzt gekauft?
von cantsin - Di 16:39
» Nvidia RTX 4080/90 Preissenkung, Konkurrent AMD RX 7900 XT(X) startet in Kürze
von markusG - Di 15:33
» Hamburg Open - Kleiner aber feiner Medientechnik-Branchentreff im Januar
von slashCAM - Di 15:06
» Bildschirmvergrößerung/Fokushilfe A7s III
von Axel - Di 13:37
» Video8/Hi8 digitalisieren - Welchen dieser Camcorder benutzen?
von acrossthewire - Di 12:31
» Sorbische Musikvideos
von Frank Glencairn - Di 11:26
» Fuji X-S10 in OVP, Garantie 10/23, Ausl. 5.700
von Jörg - Di 11:24
» Verkaufe Mavic Air Combo
von hock jürgen - Di 11:18
» Sony Mocopi: Günstiges Motioncapturing via Smartphone für ca. 360,- Dollar
von markusG - Di 8:50
» 3-Chip DLP-Laserprojektor für "Projection Mapping"
von Darth Schneider - Di 8:50
» Bezahlbarer Kopfhörer mit breiter Stereobasis gesucht.
von ruessel - Di 8:06
» Analog Aufnahme mit Pinnacle DV500 DVD
von vaio - Di 7:52
» Die Drei Musketiere - D'Artagnan (Les trois mousquetaires: D'Artagnan) — Martin Bourboulon/Matthieu Delaporte
von Map die Karte - Di 5:40
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Games
von Map die Karte - Di 5:09
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Serien nicht Filme
von Map die Karte - Di 5:08
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - Di 5:07
» Klasse Smallrig V-Mount Akkus
von Darth Schneider - Di 4:59
» Warum immernoch nur 192Kbit?
von klusterdegenerierung - Mo 22:27
» Topaz Video Enhance AI bei digitalisierten Video8-Aufnahmen
von klusterdegenerierung - Mo 20:06
» Canon EOS R5 C im Praxistest - die beste Foto-Video-DSLM? 8K 50p RAW, Hauttöne, LOG/LUT uvm.
von AndySeeon - Mo 20:06
» Verkauf nach Todesfall
von DAF - Mo 19:43
» RØDE Wireless Go II: kompakte Lösung für drahtlosen 2-Kanal Videoton mit zwei Sendern
von Maikrofon - Mo 17:49
» Neu gewählt: Die 100 besten Filme der Welt - mit neuer Überraschungs-Nummer 1
von 7River - Mo 17:25
» Einhand Gimbal Z Achse DJI oder ähnliches
von JonasLa - Mo 13:00
 
neuester Artikel
 
Fake-Filmstills per KI

Die neuen bildgenerierenden KIs bescheren dem Genre "Was wäre wenn...?" ganz neue Möglichkeiten - ein eigenes Subgenre hat sich in der Community der Bild-KI Midjourney gebildet, in welchem User die verschiedensten Möglichkeiten durchspielen, wie berühmte Filme ausgesehen hätten, wenn sie von einem anderen Regisseur, mit einem völlig anderen visuellen Stil gedreht worden wären. weiterlesen>>

Neues RAW Patent von RED

RED wurde ein weiteres Patent im Zusammenhang mit komprimiertem RAW erteilt. Womit die Firma wohl weitere Lizenzeinnahmequellen in neuen Geräteklassen erschließen will... weiterlesen>>