Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 6569

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Sa 19 Sep, 2020 23:49

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12091

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 09:02

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.




ruessel
Beiträge: 6569

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 09:31

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Bluboy
Beiträge: 1134

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy » So 20 Sep, 2020 10:43

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,




ruessel
Beiträge: 6569

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 11:09

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12091

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 11:34

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.




ruessel
Beiträge: 6569

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 15:08

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




srone
Beiträge: 9188

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone » So 20 Sep, 2020 15:26

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
"x-log is the new raw"




ruessel
Beiträge: 6569

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Mo 21 Sep, 2020 10:34

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




slashCAM
Administrator
Administrator
Beiträge: 11260

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM » Mi 23 Sep, 2020 14:45


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Was schaust Du gerade?
von klusterdegenerierung - Do 23:09
» Fraunhofer Institut zeigt 50% besseren HEVC Nachfolger VVC auf der // IBC 2018
von Paultimate - Do 22:40
» Nach einem Jahr mit der OG BMPCC finde ich das Bild nicht mehr schön.
von Mantas - Do 22:09
» Adobe CC Update: Audio Transkription per KI und neue GPU-Beschleunigung für Premiere Pro
von patfish - Do 21:22
» Nvidia mit brachialem Grafikkarten-Update - Neue Ampere GPU für den Videoschnitt
von klusterdegenerierung - Do 21:01
» SAE ja oder nein - Digital Film & VFX Diploma?
von acrossthewire - Do 20:57
» Atomos Shogun 7 Update: ProRes RAW Aufnahme mit Sonys FX9 jetzt verfügbar
von slashCAM - Do 20:54
» Fujifilm X-S10 mit IBIS und 10bit extern vorgestellt für unter 1000 Euro
von cantsin - Do 20:15
» Sony A7S III erste Erfahrungen, Bugs, Problemlösungen,...
von Axel - Do 20:03
» Mevo Start Livestreaming Kamera wird per neuer App zur Webcam
von tom - Do 18:40
» Hilfe für Auskunft über eine cleane HDMI-Ausgabe an einer Kamera
von Jan - Do 17:42
» Canon Cashback Aktion EOS 5/C100/XC10
von Jan - Do 17:26
» Sigma FP - Body only - Restgarantie!
von Rawberry - Do 17:01
» A Million Ways to die in the West.
von didah - Do 16:59
» Moonrise Kingdom (Farbe, digital, 16mm Film)
von jogol - Do 16:35
» iMac Audio Kanäle zuordnen
von acrossthewire - Do 16:28
» 10 Millionen Dollar für Blockbuster-Produktion im Smartphone Hochkant-Format
von Jott - Do 16:19
» Adobe MAX 2020: Online Konferenz mit über 350 Events
von ruessel - Do 13:46
» Was hast Du zuletzt gekauft?
von srone - Do 13:35
» Adobe Premiere Elements 2021 verfügbar mit neuen Effekt-Funktionen
von R S K - Do 13:33
» Tonqualität vs. Preis - 5 Mikros im DSLM-Setup Vergleich (Teil 2, 500 bis 1000 Euro)
von slashCAM - Do 9:51
» Neuer Wunder-Sensor von Canon?
von Frank Glencairn - Do 8:42
» Sony FS700 + Shogun Inferno diverse Fragen
von Jott - Do 5:32
» ZCam - Zlog2 in Resolve (Luts etc)
von micha2305 - Mi 22:28
» Neuer ARRI EF-Mount (LBUS) für Large-Format-und Super-35-Kameras
von iasi - Mi 21:55
» Min Spannung bei NP-F970
von klusterdegenerierung - Mi 21:39
» schlechte Qualität beim Transkodieren mit Adobe Media Encoder
von floii - Mi 21:30
» Tonqualität vs. Preis - 5 Mikros im DSLM-Setup Vergleich (Teil 1, 0 bis 250 Euro)
von Jörg - Mi 20:01
» yourcamera.de
von Jott - Mi 19:59
» Intensity Pro 4K - kein Bild
von klusterdegenerierung - Mi 19:54
» Gestohlen - 2x GH5 / drei Objektive / Atomos Ninja V
von MrMeeseeks - Mi 19:47
» Blackmagic Ursa Mini Pro 4.6K G1 inkl. Zubehör
von rawk. - Mi 19:33
» DJI Pocket 2: Größerer Sensor mit 64 MP, mehr Weitwinkel und 240 fps Zeitlupe
von Cinealta 81 - Mi 18:32
» Spielfilme vor und nach Corona?
von ruessel - Mi 17:23
» Ursa Mini Pro 4.6k EF G1
von rawk. - Mi 17:08
 
neuester Artikel
 
Mikros im Vergleich: Welche Tonqualität für welches Geld?

Willkommen zu Teil 2 unserer kleinen Mikrofon-Übersicht nach Preisklassen: Weiter geht es mit der 500,- Euro Preisklasse, für die man bereits recht viel für sein Geld bekommt ... weiterlesen>>

Mikros im Vergleich: Welche Tonqualität für welches Geld?

Wir haben uns die topaktuellen Mikros Sennheiser MKE 200, Rode VideoMic NTG, Rode NTG5 sowie als Referenz unser Sennheiser MKH-416 angehört und wollten wissen, welche Tonqualität man in den Preisklassen 0, 100, 250, 500 und 1.000 Euro erhält, wenn man die Mikros an hochwertigen DSLM-Setups betreibt. weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...