ElevenLabs - KI-Dubbing Audio Übersetzung als Web-Service

Das neue Sprachübersetzungstool von ElevenLabs kann gesprochene Inhalte in wenigen Minuten in eine andere Sprache konvertieren und dabei den Klang der Stimme des des ursprünglichen Sprechers erhalten. Damit bekommt nun jedermann ein einfaches Tool in die Hände, um eigene Videos "international zu lokalisieren".

Soweit zumindest die Theorie. Glücklicherweise kann man den Service seit kurzem selber ausprobieren, wobei die kostenlose Konvertierung auf ungefähr eine Minute des Materials beschränkt zu sein scheint.

Für eigene Tests kann man eine Audio- oder Videodatei hochladen bzw. einfach einen Link auf diese angeben. Auch Youtube-,TikTok-, X(Twitter) sowie Vimeo-Links können als Input ohne Umwege genutzt werden. Optional kann man noch die Eingabesprache sowie eine von 29 gewünschten Ausgabesprachen wählen und nach einer Berechnungspause den Audiotrack in einer anderen Sprache hören und gegebenenfalls auch sehen.

Bei den von uns getesteten Clips wirkten die Lippen teilweise asynchroner, als die definitiv handverlesenen Beispiele des Herstellers - was natürlich auch keine leichte Aufgabe ist - die inhaltliche Übersetzung muss ja auf die unveränderten Lippen "passen". Zudem erinnert die inhaltliche Übersetzungsqualität mehr an einen Simultandolmetscher, denn an eine hochqualitative Übersetzung ala DeepL.

Dennoch ist das Ergebnis oft erstaunlich. So behielt ein Amerikaner bei uns in der deutschen Aussprache (s)einen amerikanischen Dialekt, was den Clip deutlich authentischer machte, als eine typische, cleane deutsche KI-Aussprache. Und auch trotz seiner offensichtlichen Schwächen gibt es wahrscheinlich bereits ein paar passende Anwendungsfälle für das neue Tool. Beispielsweise, wo der sprachliche Inhalt nicht sonderlich komplex ist und die Sätze relativ kurz ausfallen...

In diesem Beispiel sieht man das KI-Dubbing im praktischen Einsatz und kann durch die Auswahl der Audiospur in Youtube zwischen den generierten Sprachen wechseln...