Musikvideo mit KI und realen Aufnahmen

[Serge]

Die Grundlage für das Video waren Aufnahmen der Tänze der Bandmitglieder,
die Band beim Spielen sowie Foto-Portraits.

Nach einem anfänglich intensiven Austausch mit der Band folgte eine längere Phase,
in der ich rund 300 Clips mit verschiedenen KI-Bild- und Videomodellen generiert habe.

Die Musiker haben das Projekt erst in einem relativ fortgeschrittenen Stadium wieder gesehen.
Das ist ein deutlich anderer Ablauf als bei einer klassischen szenischen Produktion, bei der
die Beteiligten über weite Strecken eng eingebunden sind.

Ein wichtiger Faktor für das Ergebnis waren multimodale Modelle bzw. ein referenzbasierter Workflow,
bei dem sich unterschiedliche Quellen wie Personen, Locations und Objekte innerhalb eines Clips
kombinieren lassen. Zudem war es möglich, die Avatare der Musiker über ihre realen Tanzaufnahmen
zu animieren, wobei modellbedingt die tanzenden Personen kaum mehr zu erkennen sind,
aber mit diesem Kompromiss kann ich leben.

Schnitt und Color Grading in Davinci Resolve Studio.
Da die KI irgendwelche Farben generierte und ich durch ein buntes Tunnelfoto schon mit einem Look
startete, war dies eine Herausforderung, bzw. ziemlich Zeitintensiv.

Alles in allem bin ich erleichtert und froh, etwas realisiert zu haben, das nach meinem Ermessen
einigermassen stimmig ist.
Für mich bringt die Verwendung von KI schon eine wesentliche Erweiterung von Möglichkeiten,
auch wenn es viel Geduld und Energie braucht. Letzteres aber vermutlich weniger, als in einer
realen Produktion.

[soulbrother]

Nette Arbeit, aber leider kann ich es nicht richtig würdigen, da ich nach knapp 2 Minuten abschalten musste.
Denn für meinen Musik- und Tanzgeschmack, ist es eben viel zu langweilig.
Soll aber andere nicht hindern daran, sich eine eigene Meinung zu bilden und im Idealfall sogar Gefallen an dem Stück zu finden.

[Jott]

Kraftwerk lässt grüßen. Nett, was so alles geht.
Trotzdem ein Zeitkiller (noch).

[7River]

Schräg – auf eine positive Art. Mir gefällt‘s.

[Darth Schneider]

Ich sehe das in etwa genauso wie der 7river.
Es hat was, schräg und künstlerisch spannend.
Wobei der Tanz ? Nun ja, haut mich als Ex Tänzer gar nicht aus den Socken.
Aber völlig egal.
Passt..

[AndreasBuder]

Ich finde den Mut, dies so anzugehen, bewundernswert, weil du im Vorfeld kaum absehen konntest, ob du es erfolgreich zu Ende bringen kannst. Und vermutlich warst du ab und an an dem Punkt, wo du es selbst nicht mehr wusstest, wo das hin führen soll. Das wäre zumindest bei mir der Fall. Ich persönlich finde allerdings, dass viele Dinge im Video durch reale Produktion schneller und einfacher gegangen wäre... einen industriellen Tunnel hätte man durchaus in echt finden können, mit etwas Preproduction-Recherche. In der Brille der Tänzerin sieht man auch den Lichtaufbau, klassisches schräg vorne links rechts. Insgesamt wirkt das Licht dadurch nicht "motiviert", wie es in einem solchen Tunnel zu erwarten wäre, und so wirken die Protagonisten einfach reingesetzt. Es fehlt zum Beispiel eine Belichtung links rechts von hinten (mit hartem Licht), die die Protagonisten vom Hintergrund etwas abheben, weil z.B. im Tunnel ja auch hinter ihnen Lichter sind. Dann von vorne etwas weniger Licht, so entsteht auch im Gesicht die moody Stimmung mit etwas Schatten, so wie sie im Tunnel ist. So sind auch zum Beispiel auf dem Boden die Schatten widersprüchlich. Sie sind nach vorne zeigend, obwohl das Licht von vorne kommt (deine echten Lichter). Die KI hat aber Lichter hinter die Menschen gesetzt und folgerichtig die Schatten nach vorne zeigen lassen. Da sagt das Hirn: Hier stimmt was nicht.

Der Eingangsshot mit dem Mixer wirkt am Anfang sehr moody mit dem Rot, und dann lichttechnisch plötzlich flach, nahezu ohne Schatten. Also insgesamt richtet sich meine Rückmeldung hauptsächlich auf die geschaffene Lichtstimmung durch deine Beleuchtung und dem Widerspruch mit dem KI-geschaffenen Setting, der ein ganz anderes Licht-Setup konstruiert.

So wäre eine aufwendigere Preproduction nötig, und/oder bei der KI-Nachbearbeitung mehr Fokus auf stimmiges Licht.

Aber ganz ehrlich: Ich schreibe das vom gemütlichen Wohnzimmer aus, und hätte es sehr wahrscheinlich nicht besser gemacht. Das sind durchaus auch Notizen an mich selber gerichtet, sollte ich so etwas mal umsetzen wollen. Also einfach weitermachen!

P.S.: In manchen Shots stimmt übrigens die Lichtstimmung. Zum Beispiel der Frame bei 3:01 oder die Sequenz von 1:49 bis 1:54.

[Serge]

Vielen Dank für die vielseitigen Rückmeldungen.

Ich persönlich finde allerdings, dass viele Dinge im Video durch reale Produktion schneller und einfacher gegangen wäre... einen industriellen Tunnel hätte man durchaus in echt finden können, mit etwas Preproduction-Recherche.

Eine reale Location stand anfänglich zur Diskussion. Aus Budget- und zeitlichen Gründen haben wir das dann verworfen. Mir war aber nicht bewusst, wie viel zusätzlichen Aufwand dies für die Video-Generierung und Nachbearbeitung verursachen würde.

Also insgesamt richtet sich meine Rückmeldung hauptsächlich auf die geschaffene Lichtstimmung durch deine Beleuchtung und dem Widerspruch mit dem KI-geschaffenen Setting, der ein ganz anderes Licht-Setup konstruiert.
So wäre eine aufwendigere Preproduction nötig, und/oder bei der KI-Nachbearbeitung mehr Fokus auf stimmiges Licht.

Das war einer von einigen Kompromissen. Das Licht des verwendeten Tunnelfotos war nicht sehr hell und ziemlich gelbstichig. An das konnte ich die Fotos der Bandmitglieder nur beschränkt anpassen. Das Aufhellen des Tunnels und ändern der Farbtemperatur war auch nur sehr beschränkt möglich. Hätten wir auf einem realen Tunnel-Set mehr Kontrolle über das Licht gehabt, wäre das wahrscheinlich schon einfacher gewesen.

P.S.: In manchen Shots stimmt übrigens die Lichtstimmung. Zum Beispiel der Frame bei 3:01 oder die Sequenz von 1:49 bis 1:54.

Wahrscheinlich waren das einerseits die Roboter, welche auf den Referenzfotos neutraler beleuchtet waren,
andererseits die multimodal generierten Clips. Diese entstehen nicht durch einen Startframe, sondern durch die Kombination verschiedener Elemente, zu denen auch der Tunnel gehört. Das ganze wird dann mit einer passenderen Lichtstimmung zusammengefügt.