Video-Soundtrack per KI ElevenLabs Video-to-Music - automatisch Soundtracks zu Videos per KI generieren

Nachdem der KI-Sprachspezialist ElevenLabs vor rund 2 Wochen erst seine neue Musik-KI veröffentlicht hatte, hat er sein Angebot jetzt auch noch um eine Video-to-Music-Funktion erweitert, mit deren Hilfe automatisch passende Musik zu einem Video erzeugt werden kann.

Die neue Funktion ist in ElevenLabs Kreativ-Plattform Studio zugänglich. Dort können zusätzlich zu den bisherigen Funktionen wie Text-to-Speech, dem Voice Changer oder Voice Isolator jetzt eigene Videos in einem der gängigen Formate wie MP4, MOV, AVI, MKV hochgeladen werden, um sie von ElevenLabs neuer Musik-KI analysieren zu lassen. Visuelle Elemente wie Bewegung, Tempo, Farbpalette, die Struktur einer Szene sowie die emotionale Stimmung des Videos sollen so erkannt werden, um dann die Instrumentierung und Stimmung eines passenden Soundtracks festzulegen.

In einem Zwischenschritt erzeugt die KI erst eine Textbeschreibung des Videos samt einem Vorschlag für die musikalische Untermalung, welcher dann als Basis für die Generierung des Soundtracks dient. Der User kann dieses Prompt auch editieren – etwa was die Stimmung des Videos oder den Musikstil angeht – woraufhin der Soundtrack generiert wird, was nur wenige Sekunden dauert. Gefällt das Ergebnis nicht, kann einfach eine neue Version erzeugt werden, entweder mit derselben Beschreibung oder mit einem geänderten Prompt.

Ein Soundtrack wird in 44,1 kHz Stereo anfänglich mit bis zu 4 Minuten Länge zu einem Video generiert werden, kann im Nachgang aber auch noch verlängert werden. Das fertige Video samt Soundtrack lässt sich noch weiter im Browser editieren - so kann ihm noch ein weiterer Audiotrack mit einem per KI erzeugten Voiceover, Soundeffekte oder zusätzlich externes Audio-/Videomaterial hinzugefügt werden. Exportiert wird am Ende wahlweise nur der Soundtrack oder das Video mitsamt der neuen Audiobegleitung.

Preis

ElevenLabs bietet verschiedene Abos an, die vom kostenlosen Testaccount bis hin zu Enterprise-Lösungen reichen. Der kostenlose Plan beinhaltet 10.000 Credits, ist aber nur für nicht-kommerzielle Nutzung vorgesehen. Der Starter-Plan und Creator umfassen eine kommerzielle Lizenz sowie zusätzliche Funktionen und beinhalten 30.000 Credits für 5 Dollar pro Monat bzw. 100.000 Credits für 22 Dollar. Die Untermalung von Videos mit Musik kostet ungefähr 25 Credits pro Sekunde, 10 Minuten Text-to-Speech 10.000 Credits. Musik, die per ElevenLabs generiert wird, ist für kommerzielle und kreative Nutzung auf Plattformen wie sozialen Medien, Werbung, Podcasts und mehr freigegeben.

Wie gut der Soundtrack zum Video passt und wie gut die generierte Musik ist, kann man an den folgenden Beispielen erkunden oder es am besten mittels eines kostenlosen Accounts mit einem eigenen Video selbst ausprobieren.