In seiner Runway Academy teasert der KI-Video Pionier ein weiteres, bald aufschlagendes Feature des generativen Videogenerators Gen-3 Alpha Turbo: "Expand Video"
Grundsätzlich unbekannt ist die Technologie nicht. Unter dem Begriff "Outpainting" kannt man schon seit längerem die künstliche Erweiterung eines Standbildes über seinen Rahmen hinaus - und wir hatten vor 16 Monaten bereits in einem Workshop auf slashCAM gezeigt, wie man Bewegtbild und Generaive Fill eines Standbildes für einen virtuellen Superzoom nutzen kann.
Mittels "Expand Video" geht Runway jedoch noch einen großen Schritt weiter und erlaubt es, bewegte Inhalte nahtlos über die Ränder eines Videos "hinzuzuerfinden". Als praktische Anwendung nennt Runway die Möglichkeit, horizontale Videos in vertikale Videos umzuwandeln und umgekehrt. Doch das ist natürlich nur ein sehr bescheidener Anwendungs-Horizont für diese Technik. Tatsächlich lassen sich durch Textprompts die erfundenen Inhalte auch inhaltlich näher definieren. Oder auch generierte Outpainting-Standbilder als Vorlage für eine weitere Animation nutzen. Welche Möglichkeiten dies eröffnen kann, reißt das folgende Video der Runway Academy dabei nur an:
Hat man ein eigenes Video als Basis hochgeladen, stehen momentan die folgenden Optionen zur Verfügung:
Über die Schaltfläche „Generieren“ ohne weitere Texteingabeaufforderung lässt man Gen-3 Alpha Turbo einfach selbständig die Ränder ausfüllen. Sollte das Ergebnis nicht den eigenen Erwartungen entsprechen, lässt sich über eine detaillierte Textaufforderung (also per Prompt) näher ausführen, was man konkret in den nicht sichtbaren Teilen außerhalb des Rahmens sehen möchte.
Alternativ kann man auch den ersten Frame des Startbildes von einem anderen KI-Tool ausfüllen lassen. Gen-3 Alpha Turbo spinnt dann diese Inhalte weiter.
Für gelungene Ergebnisse empfiehlt Runway drei Anwendungsregeln:
- Das Hauptmotiv sollte sich nahe der Bildmitte befinden.
- Keine Grafiken oder Texte im Basis-Video oder in den einbrachten Hintergründen
- Den Prompt für eigene Anforderungen nutzen
Will man Superzooms erstellen, so können die Generationen zusätzlich kaskadiert werden - also das generierte Video in ein weiteres eingesetzt werden. Auch Superweitwinkel-Aufnahmen lassen sich mit diesem Trick gut erstellen.
Wie zu erwarten füllt sich das Netz gerade mit Demos, von Anwendern die bereits Zugang zu "Expand Video" haben.
Runway's new Expand Video feature is really impressive.
— Halim Alrasihi (@HalimAlrasihi) November 23, 2024
It works best with detailed prompts and helps to stay consistent in your style.
Left: Source video from Kling AI
Right: Runway Video Expand pic.twitter.com/HPW9UxZneM
Expand Video bietet auch die Möglichkeit, alte 4:3 Formate wie Startrek auf 16:9 zu skalieren:
Do you think studios will use technology, like the new Expand feature from Runway, to take older 4:3 footage and extend it out to 16:9?
— Blaine Brown (@blizaine) November 23, 2024
Here’s an example with some upscaling as well.
(16:9 widening at 10sec) pic.twitter.com/lb4SGBhgIO
Schon "bald" soll das Feature für alle zahlenden Runway-Nutzer freigeschaltet werden.
