Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 9750

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel



Frank Glencairn
Beiträge: 22703

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 9750

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel



Bluboy
Beiträge: 4356

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,



ruessel
Beiträge: 9750

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel



Frank Glencairn
Beiträge: 22703

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 9750

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel



srone
Beiträge: 10474

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone »

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
ten thousand posts later...



ruessel
Beiträge: 9750

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel



slashCAM
Administrator
Administrator
Beiträge: 11262

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM »


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



 Aktuelle Beiträge [alle Foren]
 
» Mac SSD Speed Messung?
von TomStg - Do 18:40
» >Der LED Licht Thread<
von Darth Schneider - Do 18:32
» Sondergagen - Wer aufmuckt, wird nicht mehr besetzt
von iasi - Do 18:12
» Red Komodo 6K + Gimbal, Advanced Ring Grip und viel Zubehör
von iasi - Do 18:00
» Interessante Firmware-Updates für Sony Alpha 1, 7S III und 7 IV
von slashCAM - Do 17:51
» Camera Update 8.6: Viele neue Funktionen für Blackmagic Kameras
von slashCAM - Do 17:42
» Neues SIGMA 50mm F1,2 DG DN | Art Objektiv wiegt 745g
von cantsin - Do 17:19
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von Swat - Do 16:06
» 4 Gründe hartes Licht zu nutzen
von ruessel - Do 15:45
» [gelöst] 3.5mm Klinkenstecker Überwurfmutter
von Skeptiker - Do 14:42
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Do 13:49
» -SONY FX- Erfahrungsaustausch
von rush - Do 13:40
» AOC bringt 44.5" OLED-Riesenmonitor mit 98.5% DCI-P3
von MK - Do 12:07
» Adobe führt die neue Funktion "Structure Reference" in Firefly ein
von slashCAM - Do 10:54
» Was schaust Du gerade?
von Frank Glencairn - Do 9:00
» Nikon stellt NIKKOR Z 28-400mm f/4-8 VR Superzoom-Objektiv vor
von rush - Do 8:51
» Exhuma - die Südkoreaner können erfolgreiche Filme drehen
von -paleface- - Do 8:46
» FCPX/Motion, DaVinci/Fusion... Tipps&Tricks
von Frank Glencairn - Do 4:00
» Was hörst Du gerade?
von roki100 - Do 0:22
» Sony A9 III im Praxistest - ein echter Überraschungscoup auch für Filmer
von Mantas - Mi 23:27
» Video Pro X stürzt beim Multi Cam Schnitt ab
von MisterX - Mi 21:47
» Uwe Boll: Wie man Filme produziert ohne pleite zu gehen!
von iasi - Mi 19:53
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Darth Schneider - Mi 18:58
» Verschachtelte Timeline im richtigen Seitenformat
von Clemens Schiesko - Mi 18:43
» Untertitel in FCPX bei vorhandener Textdatei?
von R S K - Mi 18:34
» Deckenlicht mobil abschatten
von Frank Glencairn - Mi 17:31
» LUTs für Canon R6 Mark II
von TomStg - Mi 12:24
» RED versucht User nach Übernahme durch Nikon zu beruhigen
von dienstag_01 - Mi 11:52
» Entfesseltes Storytelling mit der Video-KI Sora?
von Frank Glencairn - Mi 5:54
» Slashcam 2001 - Das Internet vergisst nichts!
von macaw - Di 21:37
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von Frank Glencairn - Di 18:54
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von iasi - Di 13:32
» 3 Body Problem - so verfilmt man heute Bücher
von stip - Di 8:30
» Neue Sora Version
von Frank Glencairn - Di 7:54
» IDEENFINDUNG: Wie man spannende Filme entwickelt! mit Vi-Dan Tran (Actiondesigner DUNE)
von berlin123 - Di 6:47