Video-KI statt Rotoscoping Spezialeffekte einfach gemacht mit Pikaswaps

Bisher erforderten Spezialeffekte in Filmen mehr oder weniger komplexes Compositing, um Bildbereiche wie z. B. Greenscreens durch andere Aufnahmen zusetzen oder Masken zu erstellen und zu tracken. Mit Video-KIs, die Objekte in Videos per Prompt bearbeiten oder beliebig durch etwas anderes ersetzen können, wird es zunehmend einfacher, komplexe Effekte mal eben zwischendurch zu generieren.

Today we’re launching Pikaswaps: replace anything in your videos using photos you upload, or scenes you describe. The results are unbelievably believable, and the possibilities are as unlimited as your imagination.

Try it at Pika dot art pic.twitter.com/lhpWq3NUg0

— Pika (@pika_labs) February 20, 2025

Genau so eine Funktion hat die Video-KI Pika mit dem neuen Feature Pikaswaps gerade eingeführt. Per Text oder mit Hilfe eines virtuellen Pinsels kann ein Bildbereich im Video beschrieben oder grob markiert werden, der ausgetauscht werden soll. Per Prompt oder auch einem Referenzbild kann dann definiert werden, durch was dieser Bereich ersetzt werden soll.

Gerade die Möglichkeit, nur per Beschreibung das Objekt zu definieren, das ausgetauscht oder modifiziert werden soll, vereinfacht die Arbeit schon sehr – gerade im Vergleich zum klassischen Rotoscoping, wo jedes Einzelbild bearbeitet werden muss. Man kann so Hintergründe, einzelne Objekte oder auch ganze Personen in einem Videoclip einfach austauschen.

Als Quellmaterial dient ein selbstgedrehter oder per KI generierter Videoclip von bis zu 5 Sekunden Länge – die generative Video-KI von Pika wird dann dazu genutzt, den neuen Inhalt zu erzeugen. Die zeitliche Beschränkung ist natürlich ein ziemlicher Nachteil an der ganzen Sache.

Im folgenden Beispiel ist schön zu sehen, wie das neue Feature für klassische VFX-Aufgaben genutzt werden kann, zum Beispiel um eine leere Tribüne im Hintergrund eines Videos mit Zuschauern zu füllen, eine vor Greenscreen gedrehte Autofahrt mit nächtlichen Straßenhintergründen zu ergänzen, um den Arm eines Schauspielers nachträglich zu tätowieren oder eine Straße von allen Autos zu leeren, etc.

Die Funktion ist allerdings noch nicht perfekt; es kann zu „Ghosting“ kommen, d. h., die Maske ist nicht exakt und man ahnt an den Rändern des ersetzten Objekts noch das alte. Im Großen und Ganzen aber bietet Pikaswaps eine extrem einfache Möglichkeit, selbstgedrehte Videos um spektakuläre Effekte zu ergänzen; der Phantasie sind keine Grenzen mehr gesetzt.

Testing Pika’s new Modify Region tool “Pikaswaps”, which allows you to specify what you want to change in video footage and what you want to replace it with, using prompts, a paint brush and image references.
This tool clearly shows how rapidly this tech is advancing. I’m… pic.twitter.com/SSZeqEqp1i

— Freddy Chávez Olmos (@FreddyChavezO) February 20, 2025