Video-zu-3D-Modell Stable Video 4D errechnet neue 3D-Ansichten eines bewegten Objekts

Stability AI, die Macher von Stable Diffusion, haben gerade eine neuartige Video-KI vorgestellt: Stable Video 4D (SV4D) ist keine klassische generative KI wie Sora, Kling oder Runway, sondern erfüllt nur eine ganz besondere Aufgabe: aus einem kurzen Input-Video eines Objekts wird ein Video desselben Objekts aus verschiedenen Kameraerspektiven, welche der User bestimmen kann, in Form einer Kamera-Halbkreisfahrt generiert. Eingesetzt werden könnte Stable Video 4D sowohl in der Spieleentwicklung, bei Kunstprojekten oder für VR-Anwendungen, um Objekte aus mehreren Perspektiven zu visualisieren. Fotorealistisch ist das Ganze nicht.

Stable Video 4D nutzt zur dynamischen 3D-Videosynthese ein Video-zu-4D-Diffusionsmodell auf der Grundlage des Stable Video Diffusion und Stable Video 3D Modells für die Erstellung dieser neuen Videoansichten. Als Input wird ein Video mit mindestens 5 Einzelbildern benötigt - idealerweise eines einzelnen Objekts vor einem weißem Hintergrund. Nachdem der Benutzer die gewünschten neuen 3D-Kameraposition definiert hat, werden dann jeweils 5 Frames aus acht unterschiedlichen kontinuierlichen Kamerawinkeln in einer Auflösung von 576 x 576 Pixeln generiert. Diese werden daruafhin zu einem Video aus 40 Einzelbildern zusammengesetzt, in welchem das Objekt mittels einer Kamerafahrt aus den gewählten Perspektiven gezeigt wird.

Das Stable Video 4D Modell befindet sich derzeit noch in der Entwicklungsphase, es ist aber auch schon auf Hugging Face verfügbar. Derzeit erzeugt Stable Video 4D Videos mit 5 Frames in 8 Ansichten in etwa 40 Sekunden, die gesamte 4D-Optimierung dauert dann noch einmal etwa 20 bis 25 Minuten.