Offensichtlich kommen wir der Sache professioneller KI-Video-Generation schon wieder einen großen Schritt weiter. Schaut man sich die neuen Showcase-Clips von Runway Gen-4 an, kann man ein weiteres Mal staunen oder schaudern: Hier wird anhand diverser Kurzfilme gezeigt, wie diese mit dem neuen Modell Gen-4 entstanden sind.
Gen-4 nutzt visuelle Referenzen in Kombination mit Anweisungen, um neue Bilder und Videos mit einheitlichen Stilen, Motiven, Orten und mehr zu erstellen. So können nun konsistente Charaktere, Orte und Objekte über Szenen hinweg präzise generiert werden. Man legt hierfür anfangs ihr Erscheinungsbild durch Bilder fest, denen man zugleich Variablen (mittels @) zuweist, auf die man später im Text-Prompt direkt Bezug nehmen kann. Das Modell kann so kohärente Umgebungen beibehalten und zugleich einen durchgängigen Stil generieren. Während der Arbeit an dem eigenen Projekt lassen sich alle Elemente aus verschiedenen Perspektiven und Positionen innerhalb ihrer Szenen neu generieren.
Gen-4 zeichnet sich laut Runway gegenüber den Vorgängern und der Konkurrenz durch seine Fähigkeit aus, hochdynamische Videos mit realistischen Bewegungen bei überragender Prompt-Einhaltung und erstklassigem Weltverständnis zu generieren. Auch die Physik der realen Welt soll noch besser als bisher simuliert werden. Das folgende Video veranschaulicht diese Behauptungen besonders deutlich:
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Sieht man sich die gezeigten Beispiele an, so zeichnet sich ab, wie man mittlerweile ohne tiefes Fachwissen oder zusätzliche Schulung mit solchen KI-Tools eigene Geschichten als Film produzieren kann. Die Ergebnisse sind dabei immer noch nicht hundertprozentig perfekt, aber mittlerweile "gut genug" für einige Anwendungen.
Bedenkt man zugleich den massiven Zubau an KI-Leistung weltweit, so dürfte die Optimierung dieser Modelle auch noch eine Weile ungebremst weitergehen. Stellt sich nur die Frage, ob wir nahezu perfekte Ergebnisse für jedermann bereits in diesem Jahr oder vielleicht doch erst Ende dieses Jahrzehnts erleben werden.
