Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 6550

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Sa 19 Sep, 2020 23:49

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12067

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 09:02

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.




ruessel
Beiträge: 6550

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 09:31

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Bluboy
Beiträge: 1130

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy » So 20 Sep, 2020 10:43

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,




ruessel
Beiträge: 6550

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 11:09

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12067

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 11:34

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.




ruessel
Beiträge: 6550

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 15:08

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




srone
Beiträge: 9180

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone » So 20 Sep, 2020 15:26

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
"x-log is the new raw"




ruessel
Beiträge: 6550

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Mo 21 Sep, 2020 10:34

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




slashCAM
Administrator
Administrator
Beiträge: 11260

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM » Mi 23 Sep, 2020 14:45


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Nikon Z6II und Z7II mit Dual Card Slots und erstmalig externem Blackmagic Raw Support
von roki100 - Di 0:12
» Was hörst Du gerade?
von Cinemator - Mo 23:56
» Was schaust Du gerade?
von klusterdegenerierung - Mo 21:56
» CX900 mit Touchproblem
von Scallywag - Mo 21:42
» Freue mich über Kritik zu meinem Immobilienvideo
von Dhira - Mo 21:05
» Die ersten Kritiken zu Tenet. Eure Meinung zum Film?
von Benutzername - Mo 20:56
» Was hast Du zuletzt gekauft?
von Alex T - Mo 20:50
» Verkauf von Profi Equipment
von K.-D. Schmidt - Mo 19:49
» Tonqualität vs. Preis - 5 Mikros im DSLM-Setup Vergleich (Teil 1, 0 bis 250 Euro)
von Funless - Mo 19:23
» *Biete* SONY A7III - Zubehör
von ksingle - Mo 18:54
» Schnittprogramm mit Menüerstellung
von SHIELD Agency - Mo 18:32
» Authoring Programm + Kapitelmarken Premiere 2020
von Bluboy - Mo 18:13
» Davinci Resolve 4K Multikameraschnitt
von klusterdegenerierung - Mo 17:16
» Weit- und Ultraweitwinkel für BMMCC
von cantsin - Mo 16:11
» Intensity Pro Treiber?
von Bruno Peter - Mo 15:39
» Sony A7S III erste Erfahrungen, Bugs, Problemlösungen,...
von Axel - Mo 15:30
» Star Trek: Discovery - 3.Staffel
von Darth Schneider - Mo 15:27
» Adobe MAX 2020: ab morgen viele kostenlose Workshops rund um Video
von slashCAM - Mo 14:57
» Iphone am Ladegerät lassen?
von klusterdegenerierung - Mo 13:54
» Spielfilme vor und nach Corona?
von iasi - Mo 13:28
» Fujifilm: Firmware Update für X-T3 verbessert u.a. Autofokusperformance und Face Tracking
von slashCAM - Mo 10:18
» RED KOMODO 6K - jetzt bestellbar
von Funless - Mo 10:04
» Blackmagic 12K-Kamera für Emmy-Spot von Kia im Einsatz
von Darth Schneider - Mo 7:06
» Schriftzug von Wand entfernen - aber im RGB Flackerlicht?
von roki100 - Mo 6:59
» Eine für Alle(s)? - Panasonic stellt DC-BGH1 Cine-/ Streaming-/ Broadcast-/ Studio MFT-Boxkamera vor
von roki100 - Mo 6:54
» SmallHD Indie 7: 7" Kameramonitor mit 1.000 nits Helligkeit und SDI
von iasi - Mo 0:58
» Wie sichert Ihr eure Projekte?
von pillepalle - So 22:40
» Sony A9: Formatwahl für besten Kontrastumfang?
von jenss - So 20:37
» Suche das für mich perfekte Authoring Programm
von Paulrich - So 19:21
» (Windows Pcs) -> Was für eine "zusätzliche" HW verwendet Ihr (noch)? Decoder, Enqoder, SDI Output,...
von rdcl - So 19:01
» Canon EOS R6 im Praxistest - die bessere Alternative für 4K 10 Bit LOG 50p? - Teil1
von Darth Schneider - So 18:02
» François Truffaut in 9 Minuten
von ruessel - So 17:11
» Kennt sich jemand mit Audiobus 3 & Launchpad app aus?
von klusterdegenerierung - So 15:49
» Fazit: 1 Jahr Osmo Pocket
von Valentino - So 14:17
» Grafikkarten: Schluckauf bei Nvidia? Extreme Lieferschwierigkeiten und AMD im Nacken
von markusG - So 13:04
 
neuester Artikel
 
Mikros im Vergleich: Welche Tonqualität für welches Geld?

Wir haben uns die topaktuellen Mikros Sennheiser MKE 200, Rode VideoMic NTG, Rode NTG5 sowie als Referenz unser Sennheiser MKH-416 angehört und wollten wissen, welche Tonqualität man in den Preisklassen 0, 100, 250, 500 und 1.000 Euro erhält, wenn man die Mikros an hochwertigen DSLM-Setups betreibt. weiterlesen>>

Lieferschwierigkeiten bei Nvidia

Nvidias neue RTX30X0 Grafikkarten klingen auf dem Papier sehr gut und sind sogar relativ vernünftig bepreist. Allerdings sind sie auch fast nicht zu bekommen. weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...