Logo Logo
/// News

Per DeepFake zum Multisprachler: Google entwickelt Übersetzungs-KI zum Dubben von Videos

[16:20 Do,11.Mai 2023 [e]  von ]    

Google hat auf seiner Entwicklerkonferenz unter anderem den - noch experimentellen - "Universal Translator" vorgestellt, einen digitalen Übersetzer, der gleiche mehrere KI-Funktionen in sich vereint. Er kann gesprochene Worte in Videos nicht nur in eine andere Sprache übersetzen, sondern diese quasi per DeepFake der sprechenden Person auch wieder in den Mund legen - in ihrer eigenen Stimme und mit entsprechend angepassten Lippenbewegungen.

google-io-2023-universal-translator




Im professionellen Filmbereich gibt es seit einiger Zeit Dienste wie Flawless AI, welche visuelles Dubbing für Kinofilme anbieten und dabei per KI die Lippenbewegungen eines Schauspielers an den vom Synchronsprecher gesprochenen Text anpassen. Googles "Universal Translator" ergänzt dies also noch um die automatische Übersetzung samt Klonen der Originalstimme mit dem jeweiligen Tonfall, wie es zum Beispiel Eleven Labs auch beherrscht.

Translator-Example


Google zielt mit seinem Universalübersetzer nicht aufs Kino, sondern YouTube-Videos. Demonstriert wurde der neue Algorithmus deswegen auch anhand einer Vorlesung aus einem Online-Kurs, den Google zusammen mit der Universität von Arizona ursprünglich auf Englisch produziert hat. Dank einer automatischen Übersetzung in YouTube könnte in Zukunft solche Kurse in jeder beliebigen Sprache angeboten werden und so für ein viel breiteres Publikum verfügbar sein.

Viele KI-Techniken in einem Tool


Googles "Universal Translator" nutzt gleich mehrere schon vorhandene Techniken, um seine Aufgabe zu erledigen. Zuerst wird das gesprochene Wort in Text transkribiert und die Stimme des Sprechers samt der Intonation analysiert. Dann wird dieser Text in die gewünschte Sprache übersetzt und in der Stimme des Sprechers neu synthetisiert. Zuletzt werden die zum neuen Audio passenden Lippenbewegungen generiert und mit dem Gesicht der sprechenden Person fusioniert.

Hier die Vorstellung: des Universal Translators (1:14:29):


Die Gefahren


Neben den vielen praktischen Einsatzzwecken hat eine solche Technologie auch ein großes Potential zum Missbrauch. Google ist sich aber durchaus der Gefahren solcher automatisierter Technologien bewusst, deswegen haben im Zuge des Dogmas "Bold and responsible AI" vorerst nur autorisierte Partner Zugriff auf den "Universal Translator", der sich ohnehin noch in einem experimentellen Zustand befindet und nicht perfekt ist. Google will seine per KI generierten Inhalte mit einem unsichtbaren Wasserzeichen versehen, welches diese als KI-generiert kennzeichnet.

Da allerdings alle dafür notwendigen Techniken bereits bekannt sind und entweder als Forschungsarbeiten oder sogar schon als Open Source Algorithmus vorliegen, wird es der Erfahrung nach nicht lange dauern, bis ein ähnliches Tool, welches all die genannten Schritte in sich vereint, frei veröffentlicht wird. Einzelne DeepFake Videos samt simulierter Stimme sind schon jetzt im Umlauf.


  
[26 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Tobias Claren    18:57 am 16.5.2023
"Dank einer automatischen Übersetzung in YouTube könnte in Zukunft solche Kurse in jeder beliebigen Sprache angeboten werden und so für ein viel breiteres Publikum verfügbar...weiterlesen
Darth Schneider    13:56 am 14.5.2023
@freezer Kennst du ihn da unten schon, Curious Droid ? https://youtu.be/7ugQArIkM8A Ich find den Kanal super, faszinierende Themen, super erklärt und da ist gar nix von...weiterlesen
Darth Schneider    08:57 am 14.5.2023
Beeindruckend, jetzt entwickelt sich die Debatte auf ein sehr intelligentes Niveau…. Gruss Boris
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildARRI Alexa 35 Update SUP 1.1 bringt zahlreiche Workflow-Verbesserungen und ARRIRAW 3.8K 16:9 bildApple: Bekommt die iPhone Kamera-App endlich Profi-Funktionen?


verwandte Newsmeldungen:
KI:

Making of - So entstehen die viralen Wes Anderson KI-Videos 29.Mai 2023
Microsoft Olive: Neues kostenloses Tool verdoppelt Performance von Stable Diffusion 24.Mai 2023
Adobe Generative Fill - KI-Bildergänzung in Photoshop, einfach für jedermann! 23.Mai 2023
Diffusae - Stable Diffusion als KI-Plugin für Adobe After Effects 23.Mai 2023
Synthetische KI-Stimmen machen professionellen Sprechern Konkurrenz 21.Mai 2023
Drag your GAN - KI-Bilder einfach mit der Maus verändern 19.Mai 2023
Stable Diffusion verjüngt Harrison Ford 16.Mai 2023
alle Newsmeldungen zum Thema KI


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 30.Mai 2023 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*