KI-Tool für Filmer ReCamMaster - KI-Tool für nachträgliche Kamerabewegungen im Video

Ärgerlich ist es, wenn man erst einem Dreh bei der Durchsicht des Videomaterials feststellt, dass eigentlich eine andere Kamerafahrt besser gewesen wäre. Normalerweise muss dann ein Nachdreh angesetzt werden, doch wie ein neues KI-Tools namens ReCamMaster zeigt, kann in soclhen Fällen vielleicht bald in der Postproduktion nachgebessert werden. Denn ReCamMaster ermöglicht es, nachträglich in einem Video die Kamerabewegung und -einstellung zu ändern, indem es mittels eines Diffusions-basierten Text-zu-Video-Modells neue, passende Ansichten des Motivs des Clips generiert.

Nutzer generativer Text/Bild-zu-Video-KIs wie etwa Runway oder Hailuo kennen die Möglichkeit, per Textbefehl Kamerabewegungen in einer Szene zu definieren, welche dann entsprechend generiert werden.

Das von chinesischen Forschern entwickelte Video-Re-Rendering-Framework ReCamMaster kann jetzt auch dynamische Szenen eines echten Quellvideos mit neuen Kamerafahrten quasi noch einmal einfangen und dabei Probleme der Konsistenz von Objekten und Bewegungen über mehrere Frames hinweg meistern. ReCamMaster kann Kamerabewegungen wie Schwenks, Neigungen, Zooms oder auch Bogenfahrten nachträglich durchführen – auch in Kombination. Interessanterweise reichen die Anwendungsmöglichkeiten aber noch weiter, denn durch die neue ReCamMaster-Methode können auch bisherige Verfahren wie Videostabilisierung, Super-Resolution und Outpainting verbessert werden.

Noch mehr Demonstrationen von nachträglichen Kamerabewegungen per ReCamMaster anhand von Beispielen bekannter Filme finden sich hier.

Training per Unreal Engine

Da geeignetes Trainingsmaterial Mangelware war, haben die Forscher mithilfe der Unreal Engine 5 einen eigenen großen Korpus von synchronisierten Multi-Kamera-Renderings erstellt. Dieser wurde sorgfältig kuratiert, um vielfältige Szenen und Kamerabewegungen abzudecken, die den Merkmalen realer Filmaufnahmen entsprechen. Die hier gelernten Gesetzmäßigkeiten halfen dem Modell dann bei der Erkennung und Generierung von Kamerabewegungen bei Aufnahmen aus der echten Welt.

Leider ist ReCamMaster nicht im Quellcode verfügbar und kann nur etwas umständlich ausprobiert werden, wenn man sein Video hochlädt und die gewünschten Kamerabewegungen angibt – man bekommt dann eine Mail mit dem Link zum resultierenden Video nach einiger Zeit. Wir sind aber zuversichtlich, dass ReCamMaster oder ein ähnliches KI-Modell bald auch benutzerfreundlicher angeboten wird. ReCamMaster demonstriert, wie sinnvoll der Einsatz generativer KI nicht als Konkurrenz, sondern als Werkzeug für Filmemacher sein kann.