Logo Logo
/// 

Sony: Smartphones übertreffen Großsensorkameras ab 2024



Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum Videoschnitt Allgemein-Forum

Frage von cantsin:


In einer firmeninternen Präsentation sagt Sony voraus, dass Smartphone-Kameras ab dem Jahr 2024 die Bildqualität von Wechselobjektivkameras ("ILCs", also DSLRs und Spiegellosen) übertreffen werden:





Wobei anzunehmen ist, dass sich das auf Stills und (noch) nicht auf Bewegtbild bezieht.





Antwort von cantsin:

Dazu gibt's jetzt auch noch einen Nachschlag von Qualcomm bzw. eine praktisch gleiche Prognose:
https://www.androidauthority.com/smartp ... w-3183730/

DeepL-(KI...-) Übersetzung:
"KI ist eine der größten Entwicklungen im Bereich der Kameras, und Judd Heape, der führende Kamera-Entwickler bei Qualcomm, glaubt, dass sie in Zukunft den gesamten Bildaufnahmeprozess übernehmen könnte.

Der Einsatz von KI hat sich seit den 2018 erstmals vorgestellten Modi weiterentwickelt, aber Heape erklärt, dass KI in der Fotografie in vier Stufen unterteilt werden kann.

Die erste Stufe ist recht einfach: KI wird eingesetzt, um ein bestimmtes Objekt in einem Bild oder einer Szene zu erkennen. In der zweiten Stufe steuert die KI die sogenannten 3A-Funktionen, nämlich Autofokus, automatischen Weißabgleich und automatische Belichtung. Der Qualcomm-Ingenieur geht davon aus, dass sich die Branche derzeit in der dritten Phase der KI-Fotografie befindet, in der die KI eingesetzt wird, um die verschiedenen Segmente oder Elemente der Szene zu erkennen.

Laut Heape sind wir etwa drei bis fünf Jahre von dem heiligen Gral entfernt, bei dem KI das gesamte Bild verarbeitet:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Ich möchte, dass das Bild wie diese National Geographic-Szene aussieht", und die KI-Engine sagt: "Okay, ich werde die Farben, die Textur, den Weißabgleich und alles andere so anpassen, dass es wie das Bild aussieht, das Sie mir gerade gezeigt haben".



Sony hat Anfang des Jahres einige interessante Behauptungen aufgestellt, als ein Manager vorhersagte, dass Fotos von Smartphones in den nächsten Jahren die Bilder von DSLR-Kameras übertreffen werden. Das ist leicht auszumalen, wenn man den Fortschritt berücksichtigt, der bei Smartphones durch bessere Bildverarbeitung erzielt wurde. Aber Telefone haben aufgrund ihres dünneren Formfaktors im Vergleich zu DSLRs immer noch kleinere Komponenten.

Dies räumt Heape ein, obwohl er nach wie vor davon ausgeht, dass Smartphones herkömmliche Kameras hinter sich lassen werden. "Wenn es darum geht, die Bildqualität einer DSLR zu erreichen, ja. Ich denke, der Bildsensor ist so weit, und ich glaube, dass die Innovationen, die in mobile Bildsensoren einfließen, wahrscheinlich schneller und fortschrittlicher sind als in der übrigen Branche."

Er führt weiter aus, dass die in Smartphones verfügbare Prozessorleistung einen erheblichen Vorteil gegenüber DSLR-Kameras darstellt:

Das Processing im Snapdragon ist zehnmal besser als bei den größten und leistungsfähigsten Kameras von Nikon und Canon. Deshalb sind wir in der Lage, bei der Bildqualität neue Maßstäbe zu setzen. Denn obwohl wir ein kleines Objektiv und einen kleinen Bildsensor haben, verarbeiten wir ein Vielfaches von dem, was eine DSLR-Kamera leisten kann."
Also, einfacher ausgedrückt: die Reise geht hin zur Verschmelzung von Smartphone-Fotografie und den heutigen KI-Bildgeneratoren wie DALL-E und Stable Diffusion. Die Smartphones werden eine ähnliche KI haben wie das heutige "img2img"-Modul von Stable Diffusion, das bereits solche Transformationen beherrscht:


zum Bild


Und die 3-5 Jahre prognostizierte Entwicklungszeit sind wahrscheinlich noch nötig für Smartphone-SoCs, die diese Hochrechnungen hardwareoptimiert ausführen können.



Antwort von roki100:

Das liest sich wie damals im Jahr 1995, als es darum ging, wie Autos im Jahr 2000 aussehen werden:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Bring mich nach New York", und die KI-Engine sagt: "Okay, ich fahre dich nach New York".

Smartphone-Kameras ersetzt doch jetzt schon einiges, doch es gibt eben auch etwas anderes, was nicht ersetzbar ist... auch wenn das andere nur spaß am Fotografieren mit ne echte Kamera heißt.








Antwort von cantsin:

roki100 hat geschrieben:
Das liest sich wie damals im Jahr 1995, als es darum ging, wie Autos im Jahr 2000 aussehen werden:

'Stellen Sie sich eine Welt aus der Zukunft vor, in der Sie sagen: "Bring mich nach New York", und die KI-Engine sagt: "Okay, ich fahre dich nach New York".
Wenn Du mal mit DALL-E oder Stable Diffusion experimentierst, geht das genau das - aber natürlich nur als Bild.



Antwort von dienstag_01:

Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)



Antwort von cantsin:

dienstag_01 hat geschrieben:
Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen .

Aber in diese DNGs steckt trotzdem bereits die ganze 'computational photography' bzw. KI-Prozessierung des Telefons (auf der heutigen "Stufe 3", wie sie der Qualcomm-Manager nennt), inkl. HDR-Zusammenrechnung von Bildreihen mit Tonemapping und temporaler Entrauschung. Wenn man diese DNGs dann im Raw-Konverter öffnet, sind die immer perfekt belichtet - bis hin zu Spitzlichtern, die im Waveform-Monitor genau oben sitzen, aber nicht clippen.

Genaugenommen ist das bereits die KI-Simulation einer Raw-Datei.

Dazu gibt's auch ein schönes Interview mit jemandem, der am MIT zu diesem Thema arbeitet:
https://youtu.be/nk-26lSbIMk?t=196

Money quote des MIT-Forschers: "Photo realism is dead. We should just bury it, and it's all about hallucination".



Antwort von dienstag_01:

cantsin hat geschrieben:
dienstag_01 hat geschrieben:
Was wird z.B. in Smartphones gemacht: je nach Helligkeit werden einzelne Fotozellen als einzelne Fotozellen ausgelesen oder zu Gruppen zusammengeschaltet.
Meine Frage: macht das dann der RAW-Entwickler auch?
Wahrscheinlich wird man irgendwann über unsere Vorliebe für RAW verwundert lächeln ;)
Mein Google Pixel (6 Pro) speichert optional RAW-DNGs, die auch tatsächlich undebayerte DNGs sind, die sich mit RawTherapee, Lightroom & Co. bearbeiten lassen .

Aber in diese DNGs steckt trotzdem bereits die ganze 'computational photography' bzw. KI-Prozessierung des Telefons (auf der heutigen "Stufe 3", wie sie der Qualcomm-Manager nennt), inkl. HDR-Zusammenrechnung von Bildreihen mit Tonemapping und temporaler Entrauschung. Wenn man diese DNGs dann im Raw-Konverter öffnet, sind die immer perfekt belichtet - bis hin zu Spitzlichtern, die im Waveform-Monitor genau oben sitzen, aber nicht clippen.

Genaugenommen ist das bereits die KI-Simulation einer Raw-Datei.

Dazu gibt's auch ein schönes Interview mit jemandem, der am MIT zu diesem Thema arbeitet:
https://youtu.be/nk-26lSbIMk?t=196

Money quote des MIT-Forschers: "Photo realism is dead. We should just bury it, and it's all about hallucination".
Oder eher: Das ist die RAW-Simulation einer KI-Datei ;)
Weil, das Wesentliche ist das KI-generierte Bild.



Antwort von soulbrother:

ja, alls ganz nett, hat aber mit der Abbildung der Realität nicht mehr viel zu tun.
Daher werde ich "RAW" ab sofort mit "echt" (weil ohne KI Änderungen/Manipulation) ergänzen).



Antwort von vaio:

Bei "KI" sollte eigentlich unterschieden werden, ob es für realitätsnähere Aufnahmen genutzt wird - quasi als Ergänzung zur verbauten (bauartbedingt limitierten oder/und preiswerteren) Kameratechnik, oder ob es für einen bestimmten Look verwendet wird. Die Kombination von beiden ist vermutlich am häufigsten anzutreffen.
Ich habe das Gefühl, dass der Begriff "KI" mittlerweile in jeder App u. Hardware marketingmäßig Verwendung findet. Ähnlich wie in den 90‘er "Multimedia".



Antwort von cantsin:

vaio hat geschrieben:
Bei "KI" sollte eigentlich unterschieden werden, ob es für realitätsnähere Aufnahmen genutzt wird - quasi als Ergänzung zur verbauten (bauartbedingt limitierten oder/und preiswerteren) Kameratechnik, oder ob es für einen bestimmten Look verwendet wird. Die Kombination von beiden ist vermutlich am häufigsten anzutreffen.
Ich habe das Gefühl, dass der Begriff "KI" mittlerweile in jeder App u. Hardware marketingmäßig Verwendung findet. Ähnlich wie in den 90‘er "Multimedia".
In der Forschung ist KI ein weites Gebiet, aber in der Industrie bzw. kommerziellen Anwendung ist "KI" (AI) seit einem guten Jahrzehnt gleichbedeutend mit auf neuronalen Netzen basiertem machine learning bzw. Deep Learning.

Und wenn man sich dann Kameratechnologie ansieht, ist es in der Tat so, wie es der Qualcomm-Manager beschreibt:
  • Stufe 1 ist Autofokus mit machine learning-basierter Gesichts- und Objekterkennung. Da sind heute alle Kameras (bis auf Cine-Kameras von Blackmagic, ZCam & Co.).
  • Stufe 2 ist automatischer Weißabgleich, automatische Belichtung und Autofokus auf der Basis von machine learning.
    Wenn man mal sieht, wie (manchmal verblüffend) gut Auto-WB und automatische Belichtung mittlerweile bei allen mir bekannten heutigen Spiegelloskameras (Canon, Fuji, Panasonic, Sony) funktionieren, selbst bei Mischlichtsituationen oder bei Lichtsituationen, wo ein Farbstich nicht durch platten Auto-WB neutralisiert werden soll (wie z.B. ein Foto im Kerzenschein, bei dem praktisch alle heutigen Auto-WBs die nötige warme Farbtemperatur setzen), gehe ich schwer davon aus, dass diese Automatiken allesamt auf machine learning basieren, bzw. mit training sets von gut belichteten und gut farbbalancierten Bildern gefüttert wurden, und auf Grund dieser Motiverkennung den WB und die Belichtung steuern.
  • Stufe 3 ist HDR compositing, wo aus Hochgeschwindigkeits-Fotoserien, die z.T. mit unterschiedlicher Belichtung aufgenommen wurden ein Bild mit höherem Dynamikumfang und (dank temporal denoising) geringerem Bildrauschen zusammengerechnet wird.

    Hier scheiden praktisch alle herkömmlichen Kameras aus, weil man dazu elektronischen Verschluss, ultrahohe Serienbildraten + hohe Prozessorleistung braucht. Wie der Qualcomm-Entwickler sagt, geht das mit den heutigen Mobilkamerachips, weil die ungefähr die zehnfache Rechenleistung der Chips haben, die in herkömmlichen Kameras stecken.
    Und wie er auch sagt - und wie es in dem YouTube-Video mit dem MIT-Forscher noch detailliert erklärt wird -, wird da nicht einfach ein simples 08/15-Tone Mapping gemacht, sondern basiert das Tone Mapping und Compositing auf Deep Learning-basierter Motiverkennung der verschiedenen Bildteile - so dass die Kamera z.B. "weiss", dass sie (wie in dem Beispiel des Konzertfotos im oben verlinkten Wired-YouTube-Video) Gesichter in einer dunklen Zuschauermenge in der Belichtung hochziehen muss.
  • Stufe 4, die es noch nicht als Produkt gibt bzw. nur als Prototyp bei Dall-E ("Outpainting"), Stable Diffusion ("img2img") & Co., ist dann, dass die KI die Bilder vom Smartphone-Sensor quasi nur noch als Bildskizze plus automatisch erkanntem Input-prompt (wie: "Foto eines Konzerts mit einer Menschenmenge vor der Bühne") verwendet und dann zu einem virtuellen DSLR- oder Hasselblad-Foto hochrechnet, und zwar mit denselben Methoden wie Dall-E & Co (also durch Ersetzen der durch die Kamera aufgenommenen Bildteile durch Bildelemente aus der eigenen Bibliothek).




  • Antwort von rush:

    Xiaomi trifft auf den Leica M Mount...

    Gerüchte, Techdemo oder in Kürze Realität?

    Damit könnte in der Tat der Beginn einer neuen Ära beginnen in der klassische Kameras immer weniger Bedeutung erhalten... Ähnliche Konzepte hat es ja immer Mal wieder gegeben - aber mit dem M Mount wäre das schon eine wirklich interessante Variante wo die Sensoren immer größer werden...





    Antwort von cantsin:

    rush hat geschrieben:
    Xiaomi trifft auf den Leica M Mount...
    Das ist nur eine symbolische Illustration der Zusammenarbeit von Xiaomi mit Leica.

    Das Smartphone wird keinen M-Mount haben (was bei 1" Sensorgröße bzw. Verlängerungsfaktor 2,8 ggü. Kleinbild auch nicht sonderlich sinnvoll wäre).








    Antwort von Darth Schneider:

    Ist doch nur eine Frage der Zeit, dann werkeln MFT Sensoren in Smartphones…
    Gruss Boris



    Antwort von rush:

    cantsin hat geschrieben:
    rush hat geschrieben:
    Xiaomi trifft auf den Leica M Mount...
    Das ist nur eine symbolische Illustration der Zusammenarbeit von Xiaomi mit Leica.

    Das Smartphone wird keinen M-Mount haben (was bei 1" Sensorgröße bzw. Verlängerungsfaktor 2,8 ggü. Kleinbild auch nicht sonderlich sinnvoll wäre).
    Damit wären doch schöne Telebrennweiten möglich :-)



    Antwort von markusG:

    "Darth Schneider" hat geschrieben:
    Ist doch nur eine Frage der Zeit, dann werkeln MFT Sensoren in Smartphones…
    Gruss Boris
    Ne das gab es schon, ist leider geflopt. Auch die Aufsätze mit größeren Sensor (Olympus, Sony). Die Zukunft bleibt klein :P



    Antwort von Darth Schneider:

    Du hast recht. Wenn die Smartphones dann zu bullig werden, dann kaufen die Leute das Teil nicht, grosser Sensor hin oder her….
    Grosser Screen ist jedoch dann doch egal…;)
    Gruss Boris




    Noch was unklar? Dann in unserem Forum nachfragen
    Zum Original-Thread / Zum Videoschnitt Allgemein-Forum

    Antworten zu ähnlichen Fragen:
    Sonys Sensor-Visionen - Smartphones übertreffen DSLMs ab 2024
    Auflösungsrekord: Sony Sensor für Smartphones mit 48 Megapixeln
    Sony IMX989 - diesmal "echter" 1-Zoll Sensor für Smartphones?
    Schwefel-Prozessoren übertreffen alle CPUs
    Nikon vs. RED Patent interne RAW-Aufzeichnung - keine Entscheidung vor 2024
    Canon legt Quartalszahlen vor - EOS R5/R6 Verkäufe übertreffen Erwartungen
    Anamorphe Objektive für Smartphones
    ProGrip erweitert Smartphones um Kamera-Griff
    1.55x Anamorphic Aufsatzlinse für Smartphones
    CinemaDNG Raw-Videoaufnahme jetzt mit Android-Smartphones
    RED halbiert den Preis des Hydrogen One 3D-Smartphones
    Sennheiser Memory Mic: Drahtloses Mikrophon für Smartphones
    Accsoon M1 verwandelt Smartphones in Kamera-Vorschaumonitor samt Livestreaming
    Samsung Galaxy S9+ und S9 -- Smartphones mit Super-Zeitlupen
    Beastgrip kündigt 1.55x anamorphotische Optik für Smartphones an
    Radioaktivität mit dem Kamerasensor eines Smartphones messen
    Samsung entwickelt echtes holographisches Display für Smartphones
    Sennheiser: Neues Ansteckmikrofon XS Lav für Smartphones und Computer
    Anamorphotische Optik für Smartphones auf Kickstarter findet reißenden Absatz
    Samsung produziert ersten 1TB Speicher für Smartphones - mit 1.000 MB/s
    Tragbarer 15.6" USB-C Zweitmonitor von Philips für Notebooks oder Smartphones
    Neues Richtrohrmikrofon für Smartphones und DSLMs - Sennheiser MKE 400
    Hollyland Lark C1: Preiswertes drahtloses Zweikanal-Mikrofonsystem speziell für Smartphones
    Vier neue Samsung S10 Smartphones mit bis zu 6 Kamera-Sensoren
    Vivo: Smartphones mit integrierter Mini-Drohne und Pop-up Super-Zoom?
    Snapdragon 675 bringt Smartphones Bokeh und 720p mit 480 fps

















    weitere Themen:
    Spezialthemen


    16:9
    3D
    4K
    AI
    ARD
    ARTE
    AVCHD
    AVI
    Adapter
    Adobe After Effects
    Adobe Premiere Pro
    After effects
    Akku
    Akkus
    Apple
    Apple Final Cut Pro
    Audio
    Aufnahme
    Aufnahmen
    Avid
    Avid Media Composer
    Band
    Bild
    Bit
    Blackmagic
    Blackmagic DaVinci Resolve
    Blackmagic Design DaVinci Resolve
    Blende
    Book
    Brennen
    Cam
    Camcorder
    Camera
    Canon
    Canon EOS
    Canon EOS 5D MKII
    Canon EOS C300
    Capture
    Capturing
    Cinema
    Clip
    ClipKanal
    Clips
    Codec
    Codecs
    DSLR
    Datei
    Digital
    EDIUS
    ENG
    EOS
    Effect
    Effekt
    Effekte
    Empfehlung
    Euro
    Export
    Fehler
    Festplatte
    File
    Film
    Filme
    Filmen
    Filter
    Final Cut
    Final Cut Pro
    Format
    Formate
    Foto
    Frage
    Frame
    GoPro
    Grass Valley Edius
    HDMI
    HDR
    Hilfe
    Import
    JVC
    KI
    Kabel
    Kamera
    Kanal
    Kauf
    Kaufberatung
    Kaufe
    Kaufen
    Kurzfilm
    Layer
    Licht
    Light
    Live
    Lösung
    MAGIX video deLuxe
    MPEG
    MPEG-2
    MPEG2
    Mac
    Magix
    Magix Vegas Pro
    Menü
    Mikro
    Mikrofon
    Mikrophone
    Monitor
    Movie
    Musik
    Musikvideo
    NAB
    Nero
    News
    Nikon
    Objektiv
    Objektive
    PC
    Panasonic
    Panasonic GH2
    Panasonic HC-X1
    Panasonic S1 mit V-Log
    Panasonic S5
    Pinnacle
    Pinnacle Studio
    Player
    Plugin
    Plugins
    Premiere
    Produktion
    Projekt
    RAW
    RED
    Recorder
    Red
    Render
    Rendern
    Schnitt
    Software
    Sony
    Sony HDR
    Sound
    Speicher
    Stativ
    Stative
    Streaming
    Studio
    TV
    Test
    Titel
    Ton
    USB
    Umwandeln
    Update
    Vegas
    Video
    Video-DSLR
    Videos
    Videoschnitt
    Windows
    YouTube
    Zoom