So funktioniert der iPhone 13 Cinematic Mode

[slashCAM]

Bis jetzt wusste man noch recht wenig darüber, wie Apple genau sein synthetisches Bokeh in die Aufnahmen des neuen Cinematic Mode hineinrechnet. Allerdings hat Jan Kaiser...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
So funktioniert der iPhone 13 Cinematic Mode

[Frank Glencairn]

Und dies wird wiederum für Kameras mit kleinen Sensoren ein weiteres großes Stück vom Kuchen der Großsensor-Kameras bescheren. Denn wenn das Bokeh sauber simuliert werden kann (wozu KI-Algorithmen in der Postproduktion einen weiteren großen Teil beitragen werden), bleibt als letzter wichtiger Vorteil der großen Sensorflächen nur noch die Dynamik. Und selbst in diesem Bereich glauben wir schon etwas Neues im Bereich des Computational Imaging am Horizont ausmachen zu können.

Ich bin da etwas weniger optimistisch.

Bei irgendwelchen Handyclips isses ja völlig wurscht, aber jemand der ein paar Millionen vor die Kamera stellt, wird mit einem Pseudobokeh, das wie aus einem Zoom Video aussieht, oder einem irgendwie nachträglich schöngerechneten DR wahrscheinlich nicht zufrieden sein. Zumal wir in 2021 in einer Zeit leben, wo selbst Consumer/Prosumer Kameras schon Fullframe haben. Natürlich wird sich auch in diesem Bereich AI weiter entwickeln, aber abgesehen von Söderbergh PR-Stunts etc. sehe ich nicht, daß Handys irgendwann mal Kameras ablösen oder auch nur sinnvoll ergänzen. Selbst für letzteres gibt es bessere Lösungen.
Zu umständlich, limitierend und kompliziert.

[pillepalle]

Im Consumerbereich werden sich solche 'Schummeltricks' sicher durchsetzen. Da sind die Betrachtungsbedingungen ja meist auch nicht besonders fordernd. Aber im professionellen Bereich geht es meist darum möglichst viele Informationen einzufangen und da haben größere Sensoren eindeutig Vorteile, einfach weil sie mehr Licht/Informationen einfangen. Also echte Daten. Alles was eine KI dazurechnet, mag oft ähnlich wie die Wirklichkeit wirken, hat aber nicht mehr viel mit der Wirklichkeit zu tun. Man macht aus wenig Information viel, aber es ist eben nur ein Ersatz für echte Information. In manchen Fällen mag das auch ok sein, in anderen eben nicht.

VG

[Axel]

OT, nur angeregt durch diese Lidar-Map Extraktion:
Es müsste doch rein theoretisch banal sein, die Gyro-Metadaten der neueren Sony-Kameras als, äh, normale Trackingdaten aufzubereiten, für Kamerapositionsdaten für virtuelle Studios, amateurhaft von mir jetzt mal Matchmoving genannt.

[Jott]

"bewegte Depth Map mit deutlich geringerer Auflösung ein (320 x 180 PixelPixel im Glossar erklärt bei einer 1920 x 1080 Clip-Auflösung)"


Und nächstes mal, wenn die Rechenleistung wieder gestiegen ist, einfach die Auflösung der Depth Map der Clipauflösung angleichen, und im iPhone 14 oder 15 sieht die Bokey-Welt schon ganz anders aus. Oder in Actioncams. Oder in Spiegellosen, wo bei den billigen lichtschwachen Kit-Optiken einfach mehr Bokeh reingerechnet wird (zwei Scheinblenden offener ...). Ich hab's zuerst gesagt.

Wir glauben doch alle fest an Technik, nicht wahr?

Ein Schritt weiter jedenfalls in der schleichenden "Entzauberung" des Profis. Für Laien ist der Cine-Effekt völlig okay, insbesondere nach 1,5 Jahren exzessiver Zoomkonferenzen.

Ein Glück, dass die normalen Käufer gar nicht mitkriegen, was sie da haben. Gestern beim Dreh hatte der Kunde tatsächlich ein brandneues 13 Pro dabei. Es kam aber nicht zum Shootout, der Mann wusste gar nichts von den neuen Filmfunktionen und war überglücklich mit seinen Fotos! :-)

[iasi]

Gerade bei Großproduktionen kommt sowieso ein Großteil des Bildes aus dem Rechner.

Auch diese Technik wird sich durchsetzen - wir stehen schließlich erst am Anfang.

Die Vorteile von Bokeh in der Post liegen zudem auf der Hand:
1. Lässt sich das Bokeh sehr exakt steuern und gestalten.
2. Schärfeverlagerungen in der Post erweitern den Gestaltungsspielraum.
3. Ein Drehen mit hoher Schärfentiefe ist möglich, was das Schärfeziehen erleichtert.
4. Man kann die ideale Blende nutzen und das Maximale aus der Optik herausholen.

[Darth Schneider]

Ja, ja das wird sich sicher durchsetzen, wie vieles anderes auch das noch kommen mag.
Bis man sich dann die Frage stellt, soll ich den Film überhaupt drehen, oder gleich alles dem Rechner überlassen…?
Gruss Boris

[teichomad]

Herrlich wie eine gute Optik nicht einfach so ersetzt werden kann. Post Bokeh sollte das Unwort des Jahres werden. Ich sage, bis das einigermaßen annehmbar aussieht wird noch mehr Zeit vergehen als manchen Fanboys lieb ist.

[cantsin]

Das interessante an der Technik ist, dass man damit auch die Tiefenunschärfe dynamisch verändern kann, ohne die Belichtung anzutasten - so dass in einer Kameraeinstellung der Hintergrund gleitend unschärfer oder schärfer wird. Dafür gibt's bisher eine technisch komplexe Highend-Kinokamera-Lösung, die mit einer gekoppelten Blendensteuerung und ISO-Veränderung/ND-Filtern arbeitet (dazu gab's hier auf Slashcam mal vor Jahren einen Bericht der Redaktion...).

[prime]

(...) Dafür gibt's bisher eine technisch komplexe Highend-Kinokamera-Lösung, die mit einer gekoppelten Blendensteuerung und ISO-Veränderung/ND-Filtern arbeitet (dazu gab's hier auf Slashcam mal vor Jahren einen Bericht der Redaktion...).

Oder man nimmt ne Sony Kamera mit stufenlosen elektronischen ND (wie FS5), die können das auch... ist ein "alter" Hut. Aber ja gerne mehr solche integrierte Technologien :-)

Herrlich wie eine gute Optik nicht einfach so ersetzt werden kann. Post Bokeh sollte das Unwort des Jahres werden. Ich sage, bis das einigermaßen annehmbar aussieht wird noch mehr Zeit vergehen als manchen Fanboys lieb ist.

Wahrscheinlich 1-2 Jahre? ;-D

[pillepalle]

@ catsin

Ja, nur ich frage mich wo da der große Nutzen dieser Technik sein soll? Von Smartphones die es sonst nicht können mal abgesehen. Ich filme etwas erstmal komplett scharf und lege später fest wo die Unschärfe sein soll? Gerade die Schärfe liegt doch nicht irgendwo willkürlich im Bild, sondern immer bewußt an einer ganz bestimmten Stelle. Und die macht auch einen großen Teil der Bildwirklung aus, eben nicht nur wo der Fokus liegt, sondern auch welche Bereiche scharf und unscharf sind. Am Set bekomme ich dann doch gar keinen richtigen Eindruck davon und das alles nur um irgendwelche Focusracks nachträglich machen zu können? Die Szene gibt es doch ohnehin vor. Das ist ein wenig so wie irgendwas in 8k zu filmen, weil ich noch nicht weiß welchen Ausschnitt ich später nehmen soll. Kann man zwar machen, ist für das Ergebnis aber abträglich.

VG

[Mantas]

Die Vorteile von Bokeh in der Post liegen zudem auf der Hand:
1. Lässt sich das Bokeh sehr exakt steuern und gestalten.
2. Schärfeverlagerungen in der Post erweitern den Gestaltungsspielraum.
3. Ein Drehen mit hoher Schärfentiefe ist möglich, was das Schärfeziehen erleichtert.
4. Man kann die ideale Blende nutzen und das Maximale aus der Optik herausholen.

Fast alles davon hört sich nach einem Nachteil an.

[cantsin]

@ catsin

Ja, nur ich frage mich wo da der große Nutzen dieser Technik sein soll?

Ich meinte diese Technologie hier:
https://www.slashcam.de/news/single/Cin ... 13037.html



Die lässt sich mit herkömmlichen optischen Mitteln nur sehr aufwendig realisieren, und könnte mit Apples Depthmap-Technologie massentauglicher werden.

[pillepalle]

@ catsin

So kompliziert ist das jetzt nicht. Braucht nur einen Vari-ND und eine Optik mit stufenloser Blende die nicht pumpt. Im Prinzip könnte ich mir die Tilta Mirage Mattebox holen und den Rest dafür hätte ich mit dem Nucleus M Set quasi schon. Aber es braucht natürlich einen Focus Puller dafür, der sich nur darum kümmert.

VG

[Jott]

Die Sonys mit integriertem Vari-ND können das, in Kombination mit Auto-Blende. War mag, der kann.

[rush]

Der Unterschied ist halt: das eine legt man bereits während der Aufnahme fix fest - während man bei der Apfel Lösung den Fokus noch in der Post verändern kann. Beides hat seinen Reiz.

[Jominator]

Das ist ein netter Effekt, aber das gestalterische Nutzungsszenario dürfte eher begrenzt sein. Wirkt auf mich wir eine abgeschwächte Variante des "Vertigo"-Effekts.

Kennt jemand einen Link zu einem Vergleich von diesem Pseudo Depth of Field zu einer echten 35 mm Aufnahme?

[iasi]

Die Vorteile von Bokeh in der Post liegen zudem auf der Hand:
1. Lässt sich das Bokeh sehr exakt steuern und gestalten.
2. Schärfeverlagerungen in der Post erweitern den Gestaltungsspielraum.
3. Ein Drehen mit hoher Schärfentiefe ist möglich, was das Schärfeziehen erleichtert.
4. Man kann die ideale Blende nutzen und das Maximale aus der Optik herausholen.

Fast alles davon hört sich nach einem Nachteil an.

Nein.

[rush]

Kennt jemand einen Link zu einem Vergleich von diesem Pseudo Depth of Field zu einer echten 35 mm Aufnahme?

Hast du deine 35mm Kamera immer dabei?

Ganz ehrlich - man muss die Kirche doch im Dorf lassen... Es geht hier um ein Telefon und für das was es ist bekommt man eine nette Ergänzung an die man vor Jahren ohne Camcorder plus Zusatzvorbauten aka S35 Adapter nicht Mal denken konnte.

Die wenigsten, wahrscheinlich sogar niemand wird mit dem iPhone 13 ernsthaft größere Produktionen wuppen - aber für den ganzen Social Media Kram ist diese Entwicklung doch 'ne nette Ergänzung. Man sollte das auch immer ein wenig im Zeitkontext betrachten.

Ob man das nun toll findet oder nicht ist 'ne ganz andere Kiste - ich persönlich filme eher selten bis nie mit dem Smartphone obwohl man es ja gefühlt immer dabei hat. Aber ich kenne auch Nutzer die damit bereits ziemlich kreativen und teils brauchbaren Content abliefern, sei es nur als C oder D Roll bzw. um etwas Schnittfutter anzubieten.

Lidar, KI und all die kommenden Technologien werden immer wieder Neuerungen hervorbringen die unser bisheriges Verständnis von Technik in Frage stellen werden.

Spannend allemal - ob und was sich davon durchsetzen wird liegt auch in unseren Händen ;-)

[Darth Schneider]

Wenn noch vor ein paar Jahren hier auf SlashCAM jemand geschrieben hätte, bald gibt es ProRes und automatisches Cine Toneh, im iPhone hätte man den armen Mann wohl für verrückt erklärt ;))
Mich würde es überhaupt nicht überraschen wenn Samsung als Antwort darauf RAW Video in ihr kommendes Smartphone Flaggschiff intrigieren würde…
Was kommt dann als Nächstes ?
Ich persönlich warte immer noch auf die IOS Programm Version von DaVinci Resolve…Natürlich gratis.;)))
Gruss Boris

[iasi]

Das ist ein netter Effekt, aber das gestalterische Nutzungsszenario dürfte eher begrenzt sein. Wirkt auf mich wir eine abgeschwächte Variante des "Vertigo"-Effekts.

Kennt jemand einen Link zu einem Vergleich von diesem Pseudo Depth of Field zu einer echten 35 mm Aufnahme?

Das ist wohl etwas verfrüht, denn die Technik steckt noch in den Anfängen.

Aber natürlich geht da viel und in Zukunft noch mehr:


Denn das eigentlich Hauptproblem war bisher das Keying:


Wenn die Kamera jedoch Tiefeninformationen liefert, dann erhält man echte Fokusebenen.

[pillepalle]

Wenn die Kamera jedoch Tiefeninformationen liefert, dann erhält man echte Fokusebenen.

Und worauf würde man den Fokus dann nachträglich legen, wenn nicht auf den Dackel? Auf die Gardine? Das sind natürlich ganz neue kreative Möglichkeiten;)

VG

[Jominator]

Ganz ehrlich - man muss die Kirche doch im Dorf lassen...

Ja, schon klar. Ich wollte nur sehen wie gut die Simulation im Verhältnis ist. Der Grund: Man kann bei der fertigen Aufnahme ja nur schecht erkennen ob das DoF wirklich der Realität entspricht. Sprich, entspricht die Unschärfe der echten Tiefenstaffelung.

Ob das korrekt berechnet wird kann man halt nur im Vergleich zu einer echten DoF Aufnahme sehen.

[Mantas]

Fast alles davon hört sich nach einem Nachteil an.

Nein.

ach...

Wenn am Ende alles die Post macht, kommt sowas wie Marvel raus.

[Darth Schneider]

Was meinst du damit ? Zig Millionen Dollar Gewinn ?
Ist ja grundsätzlich gar nix schlimmes wenn das dabei am Schluss raus kommt.;)
Abgesehen davon,
bei den Marvel Filmen machen sie auch nicht alles in Post, wozu sonst die Schauspieler ? Die spielen ja schon auch und kämpfen nicht nur.
Gruss Boris

[Mantas]

Ja das meine ich natürlich damit

[iasi]

Nein.

ach...

Wenn am Ende alles die Post macht, kommt sowas wie Marvel raus.

Nö. Heute wird bei allen Filme, die im Kino landen, die Post genutzt.

[R S K]

Fast alles davon hört sich nach einem Nachteil an.

Genau. Sieht alles viel schlimmer aus als wenn man einfach ohne gedreht hätte, hm?



Na dann. Nicht benutzen. 🤷🏼‍♂️

[roki100]

Tolles Video.

[Axel]

Ich bekam gestern überraschend das iPhone 13, nachdem es einem Freund, der Max gewöhnt ist, zu klein war. Hab natürlich gleich „Kino“ probiert und es an FCP ge-airdroppt. Schätze, wenn man um Artefakt-Problembereiche weiß, kann man sie leicht vermeiden. Macht Spaß.

[Jott]

Man sieht doch sofort, dass das kein 16Bit raw war. Der übliche YouTuber-iPhone-Schrott halt! :-)

[roki100]

Man sieht sofort Du hast mit den Augen die Farbtiefe genauesten analysiert und das Ergebnis dann sofort bei SlashCam offenbart. ;)

[Jott]

Schon nachvollziehbar, dass sich der eine oder andere alte Hase so langsam Sorgen macht. Die Weiterentwicklung, seit Soderbergh seine frechen iPhone-Spielfilme ins Kino brachte, ist wirklich enorm.

Wie man in fcp jetzt nachträglich die Schärfeebene via Keyframes dahin legen kann, wo man will - und auch virtuell die "Blende" einstellen kann - ist erstaunlich.

[mash_gh4]

Wie man in fcp jetzt nachträglich die Schärfeebene via Keyframes dahin legen kann, wo man will - und auch virtuell die "Blende" einstellen kann - ist erstaunlich.

ja, vielleicht ist es ganz nützlich, wenn durch derartige features die völlig unsinnige und inflationäre verwendung der tiefenunschärfe weiter ausgewalzt wird und hoffentlich irgendwann von jedermann als schrecklich billig und kontraproduktiv empfunden wird.

dann gibt's sicher schnell wieder jede menge an günstigem FF-equipment auf den gebrauchtgerätebörsen.

[R S K]

… die völlig unsinnige und inflationäre verwendung der tiefenunschärfe…

Wie geil. Jetzt ist—weil ja Apple es macht und dann auch noch mit nem blöden Telefon!—eine niedrige Tiefenschärfe ganz plötzlich unsinnig und inflationär.

😂😂😂

Echt herrlich hier. Und so billig vorhersehbar. So sehr, dass es inzwischen doch eigentlich langsam langweilig wird. Nichts originelles mehr.

🥱

Ich glaube du hast grad einen enttarnt, Jott. 😜