Dream Machine, Gen-3 und Kling Konsistente KI-Musikvideos sind machbar - schon heute

Auch auf die Gefahr hin, als KI-Hiobsbote in Ungnade zu fallen, wollen wir es nicht unterlassen, wieder mal auf ein besonders frisches KI-Musikvideo hinzuweisen, welches eindrucksvoll belegt, wie weit man mittlerweile mit ein paar KI-Videogeneratoren aus dem Netz kommen kann.

Arata Fukoe hat für das folgende Video "nur" in den aktuell verfügbaren KI-Baukasten gegriffen: Die Musik ließ er von ChatGPT schreiben und von Suno-AI vertonen. Für das statische Ausgansmaterial nutzte er Midjouney und Stable Diffusion. Aus diesen Standbildern generierte er schließlich Videoclips mittels DreamMachine, Runway Gen-3 und Kling. Nur für den menschlichen Feinschliff nutzte er Photoshop und After Effects.

Bemerkenswert ist auch hier die Konsistenz zwischen den Szenen, welche die virtuelle Sängerin in diverse, teils ziemlich surreale Umgebungen versetzt. Hilfreich sind dabei natürlich auch die besonders auffälligen Merkmale wie grüner Haarschnitt kombiniert mit der gelben Jacke, die einen hohen und sehr auffälligen Wiedererkennungswert besitzen - und damit zugleich von anderen Inkonsistenzen gut ablenken. Wobei natürlich Konsistenz nicht alles ist - man sieht den Bildern nach wie vor an, dass sie "erträumt" sind.

Auf jeden Fall ist dieses Video jedoch ein gutes Fallbeispiel, was mit aktuell breit verfügbarer KI-Technik bereits möglich ist - was wir ja bereits seit Monaten predigen. Und das alles gelang sogar, ohne dass der große Hoffnungsträger Sora hierbei irgendeine Rolle gespielt hat.

Gibt es dem noch irgendetwas hinzuzufügen? Ach ja, den Clip:

Music : ChatGPT,Sunoai
Video : DreamMachine,Gen-3,Kling
Image :MJ,SD
Edit : Ps,Ae
pic.twitter.com/9DzENHP4sV

— Arata Fukoe (@Arata_Fukoe) 7. Juli 2024