Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 9752

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel



Frank Glencairn
Beiträge: 22731

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 9752

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel



Bluboy
Beiträge: 4359

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,



ruessel
Beiträge: 9752

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel



Frank Glencairn
Beiträge: 22731

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 9752

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel



srone
Beiträge: 10474

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone »

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
ten thousand posts later...



ruessel
Beiträge: 9752

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel



slashCAM
Administrator
Administrator
Beiträge: 11262

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM »


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



 Aktuelle Beiträge [alle Foren]
 
» RED versucht User nach Übernahme durch Nikon zu beruhigen
von cantsin - Fr 23:58
» Was schaust Du gerade?
von roki100 - Fr 23:28
» Problem mit Farben bei Premiere und AE
von Alex - Fr 23:20
» Was hast Du zuletzt gekauft?
von Funless - Fr 22:44
» Was hörst Du gerade?
von roki100 - Fr 22:36
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von mikroguenni - Fr 22:04
» Was schaust Du gerade?
von klusterdegenerierung - Fr 21:47
» Sondergagen - Wer aufmuckt, wird nicht mehr besetzt
von Mantas - Fr 21:41
» Hocker für Kameramänner und Frauen?
von Mantas - Fr 21:09
» Camera Update 8.6: Viele neue Funktionen für Blackmagic Kameras
von roki100 - Fr 20:41
» Linsen (Vintage, Anamorphic & Co.)
von Phil999 - Fr 20:23
» Micro Mirrorless Kamera - Actioncam ohne Action, aber mit Wechseloptik
von Darth Schneider - Fr 18:08
» Adobe führt die neue Funktion "Structure Reference" in Firefly ein
von medienonkel - Fr 17:32
» Uwe Boll: Wie man Filme produziert ohne pleite zu gehen!
von stip - Fr 17:28
» Interessante Firmware-Updates für Sony Alpha 1, 7S III und 7 IV
von rush - Fr 13:12
» Neues SIGMA 50mm F1,2 DG DN | Art Objektiv wiegt 745g
von GaToR-BN - Fr 12:47
» >Der LED Licht Thread<
von pillepalle - Fr 8:51
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Frank Glencairn - Fr 6:22
» Venice 2 Bildqualität zum halben Preis? Sony Burano Sensortest
von cantsin - Fr 0:52
» Nikon stellt NIKKOR Z 28-400mm f/4-8 VR Superzoom-Objektiv vor
von iasi - Do 22:45
» FCPX/Motion, DaVinci/Fusion... Tipps&Tricks
von roki100 - Do 22:27
» Panasonic AG-UX90 Phantomspeisung defekt?
von Fabi283 - Do 22:03
» Mac SSD Speed Messung?
von TomStg - Do 21:43
» Deity Sidius TC Sync Software
von pillepalle - Do 19:58
» Red Komodo 6K + Gimbal, Advanced Ring Grip und viel Zubehör
von Sevenz - Do 19:01
» 4 Gründe hartes Licht zu nutzen
von ruessel - Do 15:45
» [gelöst] 3.5mm Klinkenstecker Überwurfmutter
von Skeptiker - Do 14:42
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Do 13:49
» -SONY FX- Erfahrungsaustausch
von rush - Do 13:40
» AOC bringt 44.5" OLED-Riesenmonitor mit 98.5% DCI-P3
von MK - Do 12:07
» Exhuma - die Südkoreaner können erfolgreiche Filme drehen
von -paleface- - Do 8:46
» Sony A9 III im Praxistest - ein echter Überraschungscoup auch für Filmer
von Mantas - Mi 23:27
» Video Pro X stürzt beim Multi Cam Schnitt ab
von MisterX - Mi 21:47
» Verschachtelte Timeline im richtigen Seitenformat
von Clemens Schiesko - Mi 18:43
» Untertitel in FCPX bei vorhandener Textdatei?
von R S K - Mi 18:34