Viel geht noch etwas daneben, aber einiges klappt!
Kontrolle mit KI-Regieanweisungen
KI mit Stil
Also wann?
Viel geht noch etwas daneben, aber einiges klappt!
KI-Kritische Leser werden nun wohl anmerken, dass viele Bewegungen dennoch nicht natürlich ausfallen. Wer jedoch etwas analytischer auf die Clips blickt, muss auch anerkennen, dass einige Bewegungen durchaus bereits sehr glaubhaft gelingen und man ohne KI für ein ähnliches Ergebnis ein Special Effects Studio schon für ein paar Wochen kostspielig auslasten könnte.
Kontrolle mit KI-Regieanweisungen
Aber natürlich ist die Kontrolle des visuellen Ergebnisses ein Problem. Bis auf weiteres bleibt der Zufall der eigentliche Regisseur und DOP der aktuellen generativen KI-Clips. Doch auch hier kommt sprichwörtlich Bewegung in die Forschung:
Ein sehr anschauliches Beispiel zum Stand der Technik lieferte Google mit "generativer Dynamik" ab. Hier lässt sich an Objekten in einem Standbild ziehen und zerren und das KI-Modell errechnet hierzu ein plausibles physikalisches Verhalten. Dieses "Ziehen statt Prompten" könnte somit vielleicht eine mögliche Zukunft für KI-Regieanweisungen werden.
KI mit Stil
In eine ganz andere Richtung geht der Einsatz von KI-Modellen als eine Art Style-Filter, der auch ganze Oberflächen und Objekte über die Zeit umwandeln kann. Martin Haerlin aus Berlin zeigt in diesem frischen Video, wie man aus einer einfachen Videovorlage sogar sehr lange Sequenzen mit guter zeitlicher Kohärenz (er)schaffen kann:
Hierbei kam übrigens Runway Gen-1 und Gen-2 zum Einsatz. Für solche Techniken braucht man allerdings auch entsprechend gefilmtes "Rohmaterial" als Input.
Also wann?
Man sieht jedenfalls bereits deutlich, mit welchen Schritten die Entwicklung von Bewegtbild-Modellen vonstattengeht - dennoch ist der Weg noch weit. Kleinste Fehler stören schnell den Gesamteindruck und machen einen professionellen Einsatz oft unbrauchbar. Jedoch ist zu erwarten, dass unter anderem Google, die mit Youtube auf einem unermesslichen Berg an Bewegtbild-Trainingsdaten sitzen, hier irgendwann mit einer imposanten Lösung aufschlagen werden. Denn es ist wirklich nur eine Frage der (Trainings)-Zeit, bis mächtigere Modelle glaubhafte Bewegungen aus diesen Daten lernen können.
Auch Möglichkeiten, die gezielte Bewegung der Objekte zu steuern, werden schnell zunehmen. Und nicht zuletzt wird es Tools geben, mit denen man auffällige Fehler im Clip einfach mit einem virtuellen Radiergummi entfernen, beziehungsweise neu erfinden lässt. Wann diese Ergebnisse letztlich gut genug sein werden, ist schwer zu sagen. Aber wir sind definitiv auf einem Weg zu immer besseren Ergebnissen in den nächsten Monaten und Jahren.
Wissen: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss Fr, 4.August 2023 Generative KI-Modelle wie Midjourney, Runway oder Stable Diffusion werden immer leichter für jedermann zu bedienen. Dennoch verstehen die wenigsten Anwender was hinter den Kulissen vor sich geht. Das versuchen wir mit einfachen Worten zu ändern...
Aktuelles: ControlNet - Die nächste Stufe der KI-Bilderzeugung? Do, 23.Februar 2023 Auch wenn die Ergebnisse mittels KI geschaffener Bilder oft bemerkenswert sind - es lässt sich nicht leugnen, dass momentan die Schöpfer der meisten Werke relativ wenig Einfluss auf das Ergebnis hatten. Doch das dürfte sich schon bald ändern...
Viel geht noch etwas daneben, aber einiges klappt! / Kontrolle mit KI-Regieanweisungen / KI mit Stil / Also wann?
