Als die Bilder laufen lernten - Motion Brush bald in Runway Gen-2

OK, noch haben wir ein paar Wochen von 2023, aber was Runway gerade als neue Funktion angeteasert hat, klingt nach einem weiteren KI-Meilenstein für Video, der uns auch gut erst ins kommende Jahr gepasst hätte:

Der neue "Motion Brush" soll eben genau das tun, wonach es klingt: Man malt hiermit wohl in ein realistisches Foto und kennzeichnet damit die Bereiche, in welchen man gerne eine Bewegung sehen würde. Dazu wird man gerüchteweise auch optional über einen Prompt angeben können, was in der Bewegung denn ungefähr passieren soll.

Anschließend animiert eine KI die gekennzeichneten Bereiche und das Ergebnis wird sich wohl sehen lassen können:

Das besondere an diesem Verfahren: Durch die weiterhin relativ statischen Bildbereiche um die animierten Objekte gelingt aus dem Stand heraus ein zeitlich konsistentes Video. Im Gegensatz zu unserem kleinen Sommerworkshop "Matte Painting für Dummys" geht der Runway Motion Brush jedoch noch zwei Schritte weiter.

Erstens importiert man nicht mehr unbedingt einen eigenen Videoclip, sondern Runway (er)kennt die typischen Bewegungen eines Objekts aus dem Standbild. Und wer im Teaser-Video genau hinsieht bemerkt, dass die Bewegung auch die nicht selektierten Bereiche durch Lichtveränderungen, Wellen oder Schattenwurf beeinflusst.

Das ist ein weiteres mal starker KI-Tobak, den selbst wir noch nicht so früh erwartet hätten. Außer dem Teaser-Video gibt es allerdings noch keine weiteren zuverlässigen Informationen. Einzig, dass der Motion Brush schon "bald" unter dem Webinterface von Gen-2 zur Verfügung stehen soll.

Leider gibt es den Teaser Clip aktuell nur bei LinkedIn und bei Twitter zu begutachten, weshalb wir an dieser Stelle nur die Links an euch durchreichen können. Hier geht&s zu Twitter und hier zu LinkedIn.