Live-Regie für GenAI Adobe MotionStream - künftig Echtzeit-Kontrolle über KI-Videogenerierung?

Aus Adobes Forschungsabteilung kommt wieder einmal eine ziemlich interessante, allerdings noch experimentelle KI-Technologie. Und zwar erlaubt es MotionStream, während der Erstellung mit KI-generierten Videos zu interagieren - quasi live Regieanweisungen zu geben - und über Mausbewegungen oder Reglern die Bewegung von Objekten zu steuern sowie Kamerawinkel in Echtzeit zu ändern.

Dank relativ geringerer Latenz erhält man ein sofortiges visuelles Feedback – während es noch entsteht, läßt sich ein Video manipulieren. Beginnend mit einem Textprompt können Objekte per Klicken und Ziehen gesteuert werden, um deren Bewegung zu kontrollieren und die Kameraposition anzupassen. Die Nutzer können auch auswählen, welche Elemente sich bewegen und welche statisch bleiben sollen.

Das Modell hinter MotionStream soll dabei physikalische Gesetzmäßigkeiten und natürliche Bewegungen in der Welt erfassen - der MotionStream zugrunde liegende Videogenerator simuliert im Grunde die Welt in Echtzeit.

Der neue Ansatz hinter MotionStream zeigt, wohin die Arbeit mit generativen Videos gehen könnte bzw. müsste: weg vom verzögerten Rendering hin zur Echtzeit-Interaktion mit mehr Geschwindigkeit, Reaktionsfähigkeit und Kontrolle. So zeigt ein Demo-ScreenCapture (leider nur zu sehen bei Adobe), wie per Maus Bildteile in eine Richtung "gezogen" werden, woraufhin sich das entsprechende Bildobjekt (Kopf, Augenbrauen, Lippe oä.) sich in diese Richtung bewegt.

Auch die virtuelle Kamerabwegung lässt sich auf diese Art beeinflussen. Gezeigt wird, wie ein Bildteil markiert wird, der sich im Folgenden nicht bewegen soll, sodass der Bildauschnitt (die "Kamera") daraufhin diesen Punkt umkreist.

MotionStream wurde ausgehend von einer neuen Echtzeit-Standbildgenerierung entwickelt. Um die KI-Videogenerierung weiter zu beschleunigen, hat das Team den Prozess zur Erstellung der Videos in einzelne Schritte unterteilt. Frühere Generierungsmodelle erstellten ein komplettes Video, bevor sie es den Nutzern zur Verfügung stellten – jedes Einzelbild berücksichtigte jedes andere Bild, wobei die Zukunft von der Vergangenheit abhing, die Vergangenheit aber auch von der Zukunft. Dies trug zwar zur Generierungsqualität bei, doch „das Universum funktioniert nicht so, dass man sowohl die Vergangenheit als auch die Zukunft kennt. Wir haben diese Einschränkung aufgehoben“, erklärt Zhang, einer der Entwickler.

Das Resultat ist eine Methode, mit der sich ein Video in Teilen generieren lässt, wobei die zukünftigen Frames des Videos nur von dem abhängen, was bereits erstellt wurde – bekannt als „autoregressives“ Backbone. Der erste Teil des Videos spielt bereits ab, während das Tool im Hintergrund den nächsten Teil generiert; dem Nutzer wird so ein generiertes Video in Echtzeit als Stream gezeigt (daher auch der Name).

Während Adobe Research erst jetzt auf das Projekt MotionStream hinweist, haben die Forscher selbst schon vor einigen Monaten ihr Paper dazu veröffentlicht. Dort ist auch die Rede davon, MotionStream als Open Source zur Verfügung zu stellen, allerdings ist seitdem nichts weiter passiert. Ob und in welcher Form diese neuen KI-Videofähigkeiten zugänglich werden, ist also noch offen.

Übrigens hatte Runway neulich etwas ähnliches gezeigt, nämlich die Echtzeit-Generierung von Video auf einem Nvidia Vera Rubin-System. Auch dort lässt sich mit dem Video interagieren, allerdings nur in Form von Prompts, auch scheint Adobes MotionStream auch auf weniger potenter Hardware zu laufen.