[11:34 Fr,24.März 2023 [e] von Thomas Richter] |
Wie aktuelle KI-Tools im Bereich Video genutzt werden können, demonstriert ein experimenteller, kurzer Beispielclip des Designers Nick St. Pierre schön. Er nutzte bei der Produktion gleich mehrere verschiedene KI-Tools, und zwar ChatGPT, die Bild-KI Midjourney sowie das (bislang nur per geschlossener Beta) zugängliche
Netterweise erläutert er in einem Twitterthread, den wir hier wiedergeben wollen, wie er die unterschiedlichen KIs im Zusammenspiel einsetzt. Am Anfang wurde das "Drehbuch" per ChatGPT entwickelt. Die Aufgabenstellung lautete "Schreibe ein Drehbuch für ein 9-Sekunden-Video, das aus drei 3-Sekunden-Clips besteht. Die Geschichte sollte einen Mann in seinem Wohnzimmer zeigen und ein Science-Fiction-Thema haben." ![]() Das Drehbuch von ChatGPT Dann wurde ein Referenzbild mittels der Bild-KI ![]() ![]() Das Referenzbild von Midjourney Im nächsten Schritt filmte St Pierre mit seinem iPhone dann ganz grob nachgestellt die im Drehbuch beschriebenen Szenen. Um den Styletransfer zu erleichtern, versuchte er die Pose des Midjourney Bildes nachzustellen. Das eigene Video fungiert dabei als Referenz zur Generierung des KI-Videos, ähnlich wie es bei der Bildgenerierung per Stable Diffusion ein Beispielbild mittels ![]() ![]() Vorher und Nacher Dieser selbst gedrehte Clip diente dann zusammen mit dem Bild aus Midjourney als Grundlage für den Transfer des Bildstiles auf das gesamte Video mithilfe der ![]() Das selbst gedrehte Referenzvideo: Daraufhin wurden in einem nächsten Schritt die drei einzelnen Clips in iMovie aneinandergefügt. Dann fehlte nur noch der Soundtrack - diesen erzeugte St Pierre mit Hilfe der Sound-KI ![]() Natürlich ist der kleine Clip nur ein Proof-of-Concept, der zeigen will, wie unterschiedliche KI Tools in einer echten Filmproduktion genutzt werden könnten, wenn die Qualität der per KI generierten Resultate ausreichend gut ist. Bei einer echten Clip-Produktion würde natürlich auch mehr Zeit in das Feintuning der Resulate investiert werden, um einen konsistenten Look zu erzielen. ![]() Je nach dem verwendeten KI-Tool wird es noch mehr oder weniger lange dauern, bis es auf Anhieb produktionsreife Ergebnisse liefert. Aber wie schnell die Entwicklung bei KI-Tools momentan voranschreitet, läßt sich schön an diesem Vergleich des Outputs der verschiedenen Versionen der Bild-KI Midjourney in nur einem Jahr sehen - die Video-KIs werden sich wohl ähnlich schnell verbessern: ![]() Midjourney Evolution Video ganz per KI generiertSehr bald wird es aber auch möglich sein, zum Beispiel per ![]() ![]() |
![]() |