Lyrebird: jede Stimme in 60 Sekunden imitieren

Das kanadische Startup Lyrebird hat eine Stimmensimulation entwickelt, der nur 1 Minute Originalaufnahme einer Stimme reichen, um diese zu imitieren. Dazu wurde ein neuronales Netz mit Tausende von Stimmen trainiert - Informationen zu einer neuen Stimme und ihren spezifischen Charakteristiken werden dann in einem Schlüssel komprimiert, mit dessen Hilfe dann beliebige Texte in dieser Stimme synthetisiert werden können.

Die Entwicklung ist noch in einer frühen Phase - die Sprach-Demos klingen schon sehr typisch nach dem jeweiligen Sprecher, sind aber auch noch ziemlich unvollkommen. Die Möglichkeiten sind aber schon sehr interessant (und bei einer weiteren Verbesserung auch praktisch einsetzbar): Intonationen und Emotionen (wie z.B. Wut, Sympathie oder Stress) sollen per Parametern manipulierbar sein - es können so auch ganz neue Stimmen simuliert werden. Per GPU Cluster kann Lyrebird tausende von Sätzen in weniger als einer Sekunde berechnen lassen.

Adobe hatte ähnliches schon mit dem Projekt VoCo vorgestellt, das allerdings noch rund 20 Minuten Sprechbeispiele benötigte, um Stimmen mitsamt ihrer spezifischen Charakteristiken zu simulieren und dann per Texteditor-Interface neue Texte sprechen zu lassen.

Explosiv (Stichwort "Fake News") wird die Kombination natürlich dann mit einer lippengenauen Sprachynchronisation, die den neuen Text auch noch realistisch in einem Video vom Orginalsprecher nachsprechen läßt. Für die Filmproduktion natürlich bieten diese Techniken wunderbare Möglichkeiten, um Szenen ohne die Orginalschauspieler nachträglich auch noch inhaltlich zu korrigieren.

Der Projektname "Lyrebird" ist eine Anspielung auf den gleichnamigen Vogel, der berühmt ist für seine Fähigkeit Töne nachzuahmen - den Gesang anderer Vögel, Kameramotoren, Sirenen oder sogar Kettensägen.