iOS 17.2 Update: Räumliche Videos mit iPhone 15 Pro und Max für Apple Vision Pro aufnehmen

[slashCAM]

Mit dem aktuellen Update auf iOS 17.2 stellt Apple spannende neue Kamerafunktionen zur Verfügung, die den bevorstehenden Launch von Apples Mixed-Reality-Headset Vision Pr...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
iOS 17.2 Update: Räumliche Videos mit iPhone 15 Pro und Max für Apple Vision Pro aufnehmen

[TomStg]

Nur zum Verständnis:
Apple will das schon mehrfach beerdigte 3D-Pferd weiterreiten?

[iasi]

… und los geht's! 😂

Womit?

3.499$ ist nur für eingefleische Apfelianer in ihrem Wahrnehmungsbereich.

Ich hab zwar nun ein iPhone 15, aber wüßte jetzt nicht, weshalb ich dieses neue Format nun nutzen sollte.

[Darth Schneider]

@iasi
Ich denke nicht das sich Apple auf diese eine Brille beschränkt.
Am Anfang gab es auch nur ein einziges iPhone Model.;)
Heute gibt es immer mehrere zur Auswahl, in verschiedenen Preisklassen.

Mehr Apple Brillen werden folgen, teurere und aber auch ganz bestimmt viel günstigere.

Aber ansonsten geb ich die voll recht, ich sehe das ganze bis jetzt zumindest, nur als ein viel zu teures Spielzeug.
Gruss Boris

[Skeptiker]

@iasi
Ich denke nicht das sich Apple auf diese eine Brille beschränkt.
Am Anfang gab es auch nur ein einziges iPhone Model.;)...

'Time will tell' ..
Entweder bleibt's bei dieser einen Luxus-Brille oder es ist der Start in eine mehrfarbige Brillenkollektion mit gestaffelten Preisen und Features!

[MK]

oder es ist der Start in eine mehrfarbige Brillenkollektion mit gestaffelten Preisen und Features!

Inspired by Elton John

[iasi]

@iasi
Ich denke nicht das sich Apple auf diese eine Brille beschränkt.
Am Anfang gab es auch nur ein einziges iPhone Model.;)

Ein Smartphone ist ganz praktisch im alltäglichen Einsatz doch nochmal etwas anderes als eine solche Brille.

Mobiltelefone hatten sich zuvor schon durchgesetzt und verbreitet.
Apple konnte in einem bestehenden Markt mit Weiterentwicklungen ansetzen.

Diese Brillen gibt´s auch schon lange - ein vergleichbar großer Markt, wie bei den Mobiltelefonen hat sich aber nicht entwickelt.

[glnf]

Ich warte gespannt auf die erste Möglichkeit, diese räumlichen Aufnahmen auf irgend eine Art, es muss ja nicht eine Brille sein, zu betrachten. Die beiden Kameras liegen viel näher beieinander, als die menschlichen Augen, dazu handelt es sich um unterschiedliche Brennweiten und Auflösungen. Ich kann mir eigentlich keinen anderen Weg vorstellen, als dass mit Software die zwei Stereoansichten synthetisiert werden und dabei auch die Parallax rechnerisch erhört wird. Das dürfte sehr aufwändig und eine weitere Aufgabe für die Neural Engine sein. Ich würde übrigens auch vermuten, dass beim Filmen mit dem iPhone einfach die beiden Kamerabilder gespeichert werden, das Umrechnen für die zwei Ansichten passiert dann vor oder bei der Wiedergabe. Nur so lässt sich das Ergebnis im Laufe der weiteren Entwicklung der Algorithmen weiter verbessern.

[R S K]

Apple macht am Ende nichts was nicht jeder kann: MV-HEVC nutzen. Wenn du auf einem 2D Gerät schaust wird ein „Auge” gezeigt, bei 3D eben beide.

[glnf]

Apple macht am Ende nichts was nicht jeder kann: MV-HEVC nutzen. Wenn du auf einem 2D Gerät schaust wird ein „Auge” gezeigt, bei 3D eben beide.

Meine Frage lautet eher wie und wann Apple die Bilder der beiden Kameras zu "normalen" Stereoansichten umrechnet. Einfach so ein Kamerabild auf das linke und das andere Kamerabild auf das rechte Auge zu verteilen geht ja offensichtlich nicht. Vermutlich benötigt, die Vision Pro das Sichtfeld der 0.5 Weitwinkelkamera, das deckt dann ja nur die eine Kamera ab, während nur im mittleren Bereich 2 Bilder zur Verfügung stehen. Da die Kameras zusätzlich viel zu nahe beieinander sind, muss die räumliche Tiefe (sprich der virtuelle Abstand der beiden Kameras, bzw. Augen) rechnerisch erhöht werden. Erst dann hat man eine "normales" 3D Bilderpaar welches sich auch betrachten oder auf einem Fernseher mit Shutterbrillen wiedergeben lässt.

[R S K]

Die Kameras sind 4K. Die Aufzeichnung / Ausgabe (auf dem 15er) 1080. Das ist einfache Mathematik plus Apples ML-basierte Bildverarbeitung. Ich denke, der Aufwand ist relativ überschaubar. Das der Abstand der Kameras nicht ideal ist ist auch völlig klar. Das nennt man „v1”. Die vom Video Pro wiederum sind es. Beim 16er dürfte es vermutlich entsprechende Änderungen geben. Ich habe keine Ahnung wie andere Geräte damit umgehen bzw. umgehen wollen. Es ist aber auch kein Hexenwerk.

Jetzt wo Apple es macht dürften ja auch plötzlich wieder endlose Drittanbieter Kameras, Apps etc. etc. auftauchen. Einfach mal abwarten?

[iasi]

Unterschiedliche Brennweite, unterschiedliche Sensoren, zu geringer Objektivabstand, unabhängige Fokusierung ...
Da muss die Software reichlich Anpassungsarbeit leisten.

Expliziete Kameras für diese Aufgabe gab´s früher schon. Das Rad neu erfunden hat Apple also nicht.

Da man´s ohne die teure Brille nicht sehen kann, sind die Aufnahmen leider eh für die Katz.

Beim Hydrogen One konnte man die "holografischen" Aufnahmen wenigstens auch gleich auf dem Display bestaunen.

Bei Apple wirkt das eher wie ein Rechtfertigungsversuch für die Vision Pro, um deren Verkauf zu puschen.

[Axel]

Da man´s ohne die teure Brille nicht sehen kann, sind die Aufnahmen leider eh für die Katz.

Die Brille ist teuer, klar. Für mich auch. Und auch das Argument, dass man das Erlebnis wegen der Personalisierung der Gläser und Passform schlecht mit Freunden oder Familie teilen kann, leuchtet mir ein.

Die Wertigkeit wird mMn den Preis relativ rechtfertigen. Apple Care+ dazu, und das Ding wird für einige Jahre wie neu sein. Möglicherweise dauert es nämlich einige Jahre, bis ein (günstigerer?) Nachfolger kommt. Von den Airpods Max, die seit drei Jahren auf dem Markt sind, wird immer wieder von einem USB-C-Nachfolger gemunkelt, aber seitdem sind sie im Straßenpreis um lediglich 80 € gefallen. Wenn man selbst die Ohrpolster etwa halbjährlich nach Apple-Empfehlung reinigt (müssen dann ca. 3 Tage trocknen), braucht man noch nicht einmal diese nachkaufen, die Aluschalen sehen wie neu aus und sind ohne Kratzer. Nach drei Jahren lösten sich meine vorherigen Beyerdynamics immer in ihre Bestandteile auf.

Ich komme darauf, weil ich Hörkomfort und Hör- und Sehkomfort jetzt mal in dieselbe Kategorie stecke. Schätze, dass sich das unter diesem Gesichtspunkt, als Luxusimmersion nur für mich, über prognostizierte drei Jahre schon lohnen würde.

Bleibt noch abzuwarten, inwieweit es als Interface statt Desktop und Monitor taugt, im Alltag. Den Desktop mach ich eigentlich nur noch so einmal pro Woche an. Bin ein iPad-Typ, das ich wirklich liebe. Reicht mir wahrscheinlich.

[medienonkel]

https://www.kandaovr.com/qoocam-ego/
Oder man nimmt einfach gleich spezialisierte Hardware 😉

Gut möglich, dass das, was das iPhone da an stereoskopischen Videos zusammenrechnet was taugt. '3D' Videos sind auf VR Brillen aber halt ein echtes one Trick Pony.

Aber ernsthafte Inhalte für die Interaktivität der Brille werden doch eher über das integrierte Lidar des iPhones in Kombination mit Photogrammetrie erstellt werden. Wie es Matterport schon länger macht.

[Starshine Pictures]

Ich habe mir bei Release die Meta Quest 3 VR Brille gekauft, weil es mich interessiert hat, was man mit einem aktuellen VR Headset so erleben kann. Und ganz ehrlich, ich war völlig geflasht und bin es noch heute. Ich habe nicht erwartet, wie krass immersiv zum Beispiel Gaming auf dem Headset ist. Half Life: Alyx via Steam auf die Brille gestreamt ist der absolute Knaller und ein völlig anderes Spielerlebnis als ein „normaler“ Shooter am Monitor. Da sitz ich nun fast jeden Abend mitten im Büro und wedel mit den Armen und erschiesse mit halb zugekniffenen Augen Headcrabs. Auch die Social Media Apps, wie beispielsweise VRChat oder Bigscreen fühlen sich nur bei den ersten Sessions strange an. Man gewöhnt sich tatsächlich recht schnell an schwebende Comic-Typen ohne Beine oder halbnackte Manga-Girls, die dann ernsthafte Gespräche über Israel und Gaza führen wollen.

Habe bis zu diesem Kauf ebenfalls die Vision Pro belächelt. Aber da ich nun weiss, was man mit so einer Brille alles reissen kann, wenn man es gut macht, bin ich mir nicht mehr sicher ob das wirklich daneben geht. Habe die Quest einem Freund von mir zum Probieren gegeben, der über genug Kohle verfügt und tief im Apple Universum steckt. Und er sagte nach 2 Minuten Testen: „Safe kauf ich mir die Vision Pro!“

Warten wir es ab was Apple da an Software anbietet. Nur darauf kommt es an. Das Device hat jedenfalls unglaublich viel Potential, es muss halt mit Inhalten bespielt werden, die gut catchen.

Grüsse, Stephan

[NurlLeser]

Ich habe mir bei Release die Meta Quest 3 VR Brille gekauft, weil es mich interessiert hat, was man mit einem aktuellen VR Headset so erleben kann.

so tat ich auch und habe es wirklich nicht bereut. Die Infrastruktur von Meta ist schon extrem groß und es wird sich zeigen was Apple dem entgegensetzten wird können. Mir reicht die QuestIII und ich sehe keinen Grund für 4000 euro zuzuschlagen, denn als Arbeitsgerät kann ich mir weder die QuestX noch die Vison vorstellen. Als reines Konsumgerät reicht die Quest allemal und das in bester Qualität und Leistung.

[iasi]

Aber nachdem ich nun selbst die Möglichkeiten von VR und Passthrough erlebe, verstehe ich deutlich besser was Apple uns mit diesem Präsentationsvideo sagen möchte. Es ist tatsächlich eine vollkommen neue Art, digital zu erleben. Und es werden Möglichkeiten eröffnet, mit digitalen Inhalten neu und beeindruckender umzugehen.

Grüsse, Stephan

Es ist bei solchen Geräten immer auch wichtig, wie sie in den Alltag passen.

Als Spielemonitorersatz mag das eine interessante Alternative zum einsamen Gamer-Stuhl vor dem Monitor sein.

Jede kommunikative Situation dürfte jedoch problematisch werden, mit diesem Teil auf dem Kopf.
Schon ein Smartphone in der Hand ist meist störend.

[iasi]

Übrigens stellt Apple den Entwicklern die Werkzeuge zur Verfügung, damit sie dieses „spezielle und herausragende Softwareerlebnis” schaffen können, wie bei praktisch allen anderen Apple Geräten/Plattformen auch. Und ich weiß jetzt schon aus erster Hand, dass schon am ersten Tag einiges extrem Interessantes kommen wird. Da muss Apple gar nix (mehr) machen über das hinaus was sie schon gemacht haben und machen werden.

Und diese Entwickler werden die Brille nicht vom Kopf der Leute wegprogrammieren können.

Ein iPhone ist ein geschicktes Tool im Alltag, das in der Hosentasche oder in der Hand ist - aber eben nicht das Gesicht verdeckt - kein Brett vor dem Kopf.

Als Spielzeug im Einzelspielerkampf sicherlich schön - aber der Gamingmarkt reicht Apple wohl eher nicht.

[iasi]

Blaaa.

🥱

Allein das sich ständig wiederholende Ignorantengeschwafel von wegen „Gaming Spiele Gaming Zocken!!!” zeigt, wie unfassbar planlos du bist.

Du hingegen lebst wohl in der Welt der Apple-Werbung, in der in Büros niemand mehr vor einem Monitor sitzt (von dem er einfach mal aufblicken kann), sondern mit einer riesigen Brille vor den Augen stehend in der Luft herumfuchtelt.

Mensche empfinden es schon als störend, wenn der Gegenüber eine Sonnenbrille trägt, ...
geschweige denn eine abgedunkelte Taucherbrille:


Das ist ein Spielzeug für Gamer und Poser, wenn sie nicht gerade mal "tauchen" gehen, wofür eine "Taucherbrille" sinnvoll ist. Nur gehen im Alltag nicht viele Menschen tauchen.

[cantsin]

Die Entwicklungsgeschichte der Apple Vision Pro ähnelt frappant der von Kodaks Super 8-Kamera: Beide Produkte wurden +/- ein Jahrzehnt lang entwickelt (die Kodak-Kamera seit 2015, während Apples AR-Entwicklung 2009 anfing). Nach offenbar teuren Investionenen, langen Geburtswehen und diversen Rückschlägen wurden dann 2023 endlich fertige Produkte vorgestellt. Aber in Preisregionen, die klar nicht auf den Massenmarkt abzielen, sondern offensichtlich die Funktion haben, (a) den Markt zu testen und (b) bei niedrigen Stückzahlen zumindest keine weiteren Geldverluste zu generieren.

Ich gehe nach wie vor jede Wette ein, dass Apple mit seinem ursprünglichen Konzept einer halbdurchsichtigen AR-Brille an der Displaytechnologie gescheitert ist und das Produkt schon deswegen (u.a. aus Sicherheitsgründen, weil wegen der Kamerabild-Abhängigkeit kein beliebiges Tragen im öffentlichen Raum möglich ist) in einer viel kleineren Nische landet als ursprünglich geplant.

[philr]

Nur zum Verständnis:
Apple will das schon mehrfach beerdigte 3D-Pferd weiterreiten?

Hm. Hier werden teils ja immer oberflächliche Mutmaßungen gemacht.
Zunächst einmal ist klassisches Stereo-3D kein immersives VR-3D! Es ist ein völlig anderes Erlebnis. Wer damit noch nicht vertraut ist, kann derzeit ein Meta Quest 3 in einem örtlichen Elektronikgeschäft eurer Wahl ausprobieren und zum Beispiel den Kanal von Felix & Paul auf YouTube VR ansehen. https://www.youtube.com/channel/UCzkR7K ... cuY9-GdOQw
Die Meta Quest 3 ist das zur Zeit beliebteste Produkt im VR berreich und das was Apple da bringt wird glaube auch kein Flop - ausprobieren statt mutmaßen.
Es gibt also eine sehr aktuelle und filmische Zukunft neben der KI ;-) in dieser Welt und die ist ziemlich spannend.

[philr]

Die Entwicklungsgeschichte der Apple Vision Pro ähnelt frappant der von Kodaks Super 8-Kamera: Beide Produkte wurden +/- ein Jahrzehnt lang entwickelt (die Kodak-Kamera seit 2015, während Apples AR-Entwicklung 2009 anfing). Nach offenbar teuren Investionenen, langen Geburtswehen und diversen Rückschlägen wurden dann 2023 endlich fertige Produkte vorgestellt. Aber in Preisregionen, die klar nicht auf den Massenmarkt abzielen, sondern offensichtlich die Funktion haben, (a) den Markt zu testen und (b) bei niedrigen Stückzahlen zumindest keine weiteren Geldverluste zu generieren.

Ich gehe nach wie vor jede Wette ein, dass Apple mit seinem ursprünglichen Konzept einer halbdurchsichtigen AR-Brille an der Displaytechnologie gescheitert ist und das Produkt schon deswegen (u.a. aus Sicherheitsgründen, weil wegen der Kamerabild-Abhängigkeit kein beliebiges Tragen im öffentlichen Raum möglich ist) in einer viel kleineren Nische landet als ursprünglich geplant.

Noch ne Mutmaßung und auch noch weiter entfenrt als Äpfel & Birnen überhaupt liegen können.

[roki100]

Sind das etwa die selben Aaaplle Vision Brille?

[medienonkel]

Mal eine Frage an den RSK:
Hattest du jemals eine VR Brille in deinem Besitz und die länger als 1 Stunde am Stück auf?

Und natürlich ist eine Quest komplett autark nutzbar. Außer W-Lan, das brauchen die Geräte immer.

Sicher wird Apple mit dem Teil die ganze Art, wie wir arbeiten komplett revolutionieren.
Das Finanzamt freut sich auch, wenn es feststellt, dass du dein Büro aufm Kopf trägst und es somit nicht mehr absetzbar ist. 😉

[NurlLeser]

Übrigens gibts die Microsoft Office Apps für Word, Excel, und PowerPoint nun nativ für die Quest3 wer's braucht ;)
https://www.oculus.com/deeplink/?action ... us_desktop
https://www.oculus.com/deeplink/?action ... us_desktop
https://www.oculus.com/deeplink/?action ... us_desktop

[NurlLeser]

ist für die anderen die sich dafür interessieren also fühl dich nicht angeschrieben.
Und gleich noch nachgeschoben für die Interessierten https://www.computerbase.de/2023-12/rue ... ality-ein/

[NurlLeser]

Aus der Sicht von jemanden der die Vision Pro getestet hat und die Quest3 und die Vorgänger verwendet.





inkl. fcp x

aber natürlich nur für die die es interessiert. 👍🏼

[Starshine Pictures]

Hier mal ein Testclip, aufgenommen mit einem iPhone 15 Pro. Auf dem Kanal finden sich noch mehr Spatial Videos.



Habe dieses und andere Videos über die Quest angeschaut. Der Bildeindruck ist klar und sauber, auch im Lowlight. So wie man es vom Iphone gewöhnt ist. Auffällig ist jedoch die niedrige Auflösung. An Kanten bilden sich gruselige Treppchen. Der 3D Effekt ist moderat, eher zurückhaltend. Die 30 Bilder pro Sekunde merkt man ebenfalls deutlich. Schwenks ruckeln und verschmieren. Aber das wird sicher besser mit weiter steigender Rechenkapazität der iPhones.

EDIT!
Die Aussage mit der niedrigen Auflösung und der Treppchenbildung muss ich zurück nehmen. Scheinbar hat die Quest Youtube App die ersten paar Videos in einer niedrigeren Auflösung gestreamt. Jetzt plötzlich alles scharf, sehr beeindruckend! Aber das Ruckeln der 30p bleibt einfach, und stört bei 3D Videos. Hier wären mindestens 60p empfehlenswert.

Grüsse, Stephan

[NurlLeser]

Wenn Du über den Browser gehst, ist die Bildqualität besser, die YT App ist da nicht die beste Wahl. Wenn Du dir Filme über die MetaTV App ansiehst, werden die Videos auch extrem gut wiedergegeben.
Ich vermute, das die YT App noch nicht Stand der Dinge ist und an die Quest2 angepasst noch nicht die volle Leistung abruft.

[R S K]

Aber das wird sicher besser mit weiter steigender Rechenkapazität der iPhones.

Ich gehe stark davon aus, dass es nicht nur mit dem iPhone 16 auf 4K gehen wird (sonst HD 60) sondern auch die Kameras viel besser, d.h. viel weiter auseinander angeordnet werden… oder gar eine dedizierte 4. Kamera dazukommt? 🤔 Ich denke, die iPhone 15 Implementierung war nicht viel mehr als ein Nachzügler in letzter Minute.

[NurlLeser]

und wie schon oben beschrieben geht's am 17.1 in die nächste Runde und geschätzt Herbst 24 bis Frühjahr 25 werden die Specs zur Quest Pro oder X erscheinen.

https://www.computerbase.de/2024-01/sna ... -pro-auge/

[NurlLeser]

https://developer.xreal.com/

Das nächste Teil zum Thema

[NurlLeser]

nun geht's aber richtig los :)))) ob das ne neue Ladematte wird wird sich zeigen...

Ab dem 19.1 wird mal die Hautevolee like iJustine bedient werden :)))) gespannt ich bin aufs Gewicht mein junger Padawan , dass ist immer noch Verschlusssache und die Aktien für Halswirbelimplantate gehen gerade durch die Decke ;)

[iasi]

[NurlLeser]

Ja der gute Malte Kirchner, ab dem Kapitel Akku war es eigentlich klar in welche Richtung dieses Video gehen wird. Er hat die Vision Pro getestet als einer der wenigen, hat die Quest 3 seit Monaten und dann tätigt er zum Thema Akku falsche Infos.
So funktioniert das eben mit den Influencern im Netz.
https://www.mactechnews.de/news/article ... 84049.html

Ist ja nicht mehr lange hin... wie sagt der Alexander Bloch " und das wird richtig Gut" ;)