Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 6581

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Sa 19 Sep, 2020 23:49

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12095

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 09:02

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.




ruessel
Beiträge: 6581

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 09:31

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Bluboy
Beiträge: 1145

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy » So 20 Sep, 2020 10:43

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,




ruessel
Beiträge: 6581

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 11:09

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12095

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 11:34

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.




ruessel
Beiträge: 6581

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 15:08

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




srone
Beiträge: 9203

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone » So 20 Sep, 2020 15:26

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
"x-log is the new raw"




ruessel
Beiträge: 6581

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Mo 21 Sep, 2020 10:34

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




slashCAM
Administrator
Administrator
Beiträge: 11260

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM » Mi 23 Sep, 2020 14:45


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» S/PDIF-Verstärker mit DSP?
von Jost - Mo 8:57
» Schöne Doku on Pocket 6K
von klusterdegenerierung - Mo 8:55
» Adobe Premiere Pro: Kein Audio nach Video-Export
von Bluboy - Mo 8:47
» "Blinder Himmel" - Kurzfilm
von -paleface- - Mo 8:46
» Samyang AF 35mm F1,8 FE und AF 85mm F1,4 RF -- Firmware-Updates für Filmer
von benyi - Mo 7:22
» Was schaust Du gerade?
von roki100 - Mo 5:16
» Was hast Du zuletzt gekauft?
von nachtaktiv - Mo 0:20
» Ursa Mini Pro 4.6k EF G1
von Godspeed77 - So 23:39
» Tonqualität vs. Preis - 5 Mikros im DSLM-Setup Vergleich (Teil 2, 500 bis 1000 Euro)
von Rick SSon - So 23:25
» Welches Win10 habt ihr?
von TheBubble - So 23:16
» Welche 360 Grad Kamera?
von rush - So 23:05
» Frage zu Tilta Fokus Griff
von klusterdegenerierung - So 20:32
» !!BIETE!! Atomos Shogun mit Koffer
von klusterdegenerierung - So 20:29
» Fragen zum DJI RSC 2 mit Sigma Objektiv
von rush - So 19:49
» Apple iPhone 12 Pro mit Dolby Vision Videoaufnahme, 1.200 nits Display und LiDAR
von roki100 - So 19:34
» Haus am See: "Der Hochzeitsfilmer"
von Mediamind - So 19:31
» RED KOMODO 6K - jetzt bestellbar
von iasi - So 17:18
» Künstliche Intelligenz morpht Bilder besser mit semantischer Interpolation
von srone - So 17:14
» ** BIETE ** Panasonic GH5 + Zubehör
von ksingle - So 16:27
» ** BIETE ** Andycine C7 - Fieldmonitor
von ksingle - So 16:16
» Spielfilme vor und nach Corona?
von ruessel - So 15:28
» Ursa Mini + Sigma 50-100
von rush - So 13:47
» Biete INSTA360 ONE R 1-Inch Edition
von hock jürgen - So 13:37
» Was hörst Du gerade?
von Bluboy - So 13:21
» Kann das sein - TV mit 12Bit?
von lensoperator - So 12:38
» Schriften werden bei neustart immer wieder neu gerendert
von R S K - So 12:23
» Kennt sich jemand mit Brother Laserdrucker aus?
von klusterdegenerierung - So 11:18
» Neuer Bürostuhl
von klusterdegenerierung - So 11:09
» Adobe Bridge bekommt Integration in Premiere Pro und Media Encoder
von klusterdegenerierung - So 11:06
» Barszene ausleuchten
von Darth Schneider - So 10:58
» Nikon Z6II und Z7II mit Dual Card Slots und erstmalig externem Blackmagic Raw Support
von Kanaloa - So 8:33
» Sony A7S III erste Erfahrungen, Bugs, Problemlösungen,...
von klusterdegenerierung - So 8:19
» Tonqualität vs. Preis - 5 Mikros im DSLM-Setup Vergleich (Teil 1, 0 bis 250 Euro)
von klusterdegenerierung - So 7:51
» 5G – nur ein Marketingbluff?
von iasi - So 6:40
» !!Biete!! DJI RONIN SC COMBO
von klusterdegenerierung - Sa 23:24
 
neuester Artikel
 
Mikros im Vergleich: Welche Tonqualität für welches Geld?

Willkommen zu Teil 2 unserer kleinen Mikrofon-Übersicht nach Preisklassen: Weiter geht es mit der 500,- Euro Preisklasse, für die man bereits recht viel für sein Geld bekommt ... weiterlesen>>

Mikros im Vergleich: Welche Tonqualität für welches Geld?

Wir haben uns die topaktuellen Mikros Sennheiser MKE 200, Rode VideoMic NTG, Rode NTG5 sowie als Referenz unser Sennheiser MKH-416 angehört und wollten wissen, welche Tonqualität man in den Preisklassen 0, 100, 250, 500 und 1.000 Euro erhält, wenn man die Mikros an hochwertigen DSLM-Setups betreibt. weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...