Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 6586

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Sa 19 Sep, 2020 23:49

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12110

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 09:02

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.




ruessel
Beiträge: 6586

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 09:31

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Bluboy
Beiträge: 1154

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy » So 20 Sep, 2020 10:43

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,




ruessel
Beiträge: 6586

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 11:09

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12110

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 11:34

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.




ruessel
Beiträge: 6586

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 15:08

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




srone
Beiträge: 9215

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone » So 20 Sep, 2020 15:26

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
"x-log is the new raw"




ruessel
Beiträge: 6586

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Mo 21 Sep, 2020 10:34

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




slashCAM
Administrator
Administrator
Beiträge: 11260

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM » Mi 23 Sep, 2020 14:45


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» ruckler nach dem rendern
von reeneex - Mi 13:12
» Sony A7S III erste Erfahrungen, Bugs, Problemlösungen,...
von klusterdegenerierung - Mi 13:08
» ++BIETE++ SLR Magic MicroPrime Cine 12mm T2.8 Lens (MFT) CInelens
von panalone - Mi 10:52
» Betrugsmaschen wachsen ständig
von Bluboy - Mi 10:46
» Sky: Dritte Staffel von "Das Boot" - erste Serie weltweit in 8K und Dolby Atmos
von Frank Glencairn - Mi 10:33
» Was hörst Du gerade?
von Bluboy - Mi 9:26
» Lehrvideo aufnehmen über Debut
von Jott - Mi 5:14
» Japanischer DSLM-Markt - Canon macht gegenüber Sony viel Boden gut
von patfish - Mi 1:12
» Was schaust Du gerade?
von klusterdegenerierung - Di 22:39
» Was hast Du zuletzt gekauft?
von klusterdegenerierung - Di 21:56
» Multicam mit 30 und 25 Frames. Workflow-Hilfe.
von Jott - Di 21:32
» Neue HP DreamColor HP Z25xs G3 und Z27xs G3Monitore mit DisplayHDR 600 und 2x USB-C
von Valentino - Di 20:12
» Fujifilm X-T2 zu verkaufen
von Jörg - Di 19:52
» >Der LED Licht Thread<
von srone - Di 19:26
» Freue mich über Kritik zu meinem Immobilienvideo
von 3Dvideos - Di 18:31
» Blackmagic Ursa Mini Pro 4.6K G1 inkl. Zubehör
von Rogon - Di 18:06
» Unreal Build: Kostenloses Online Event zur virtuellen Filmproduktion
von Hayos - Di 17:28
» Nvidia bringt RTX3070 - RTX2080Ti Leistung zum halben Preis
von slashCAM - Di 17:27
» Wozu Kapitelmarken in PP 2020
von Frank Glencairn - Di 17:04
» +Bite+ Baveyes AF Adapter Canon-EF auf Micro-Four-Third x0,7 der Firma KIPON (Art. 22175)
von LarryHAL9000 - Di 16:13
» +Biete+ Beyerdynamic "MCE 86 S II Cam" mit Rode Windschutz/Deadcat WS6
von LarryHAL9000 - Di 16:10
» Western Digital Black D50 Game Dock: Thunderbolt 3 Dock mit integrierter NVMe SSD
von slashCAM - Di 12:18
» Manfrotto Fluid-Videokopf 504X: Modularer Slider- und Stativ-Videokopf mit vielen Neuerungen
von slashCAM - Di 12:02
» Spielfilme vor und nach Corona?
von cantsin - Di 10:43
» Samsung: Cinematic 4K-Ultrakurzdistanz-Projektor
von ruessel - Di 10:01
» Fernsehen damals - von WDR Retro
von K.-D. Schmidt - Di 9:41
» Sony DCR-TRV 130E normale Video8 Kassette nutzen
von beiti - Di 9:20
» S/PDIF-Verstärker mit DSP?
von Jörg - Di 9:03
» Stress im Aquarium
von Ziggy Tomcat - Di 8:03
» FiLMiC Remote V3 - nun auch für Android erhältlich
von klusterdegenerierung - Di 7:30
» Blackmagic 12K-Kamera für Emmy-Spot von Kia im Einsatz
von klusterdegenerierung - Di 7:18
» Adobe Premiere Pro: Kein Audio nach Video-Export
von Bluboy - Di 6:32
» Z CAM E2-S6G Global shutter S35
von Darth Schneider - Di 5:00
» Fragen zum DJI RSC 2 mit Sigma Objektiv
von hellcow - Di 1:23
» Ursa Mini Pro 4.6k EF G1
von rawk. - Di 0:21
 
neuester Artikel
 
Manfrotto Fluid-Videokopf 504X

Die 504er Fluid-Videokopfserie von Manfrotto dürfte zu den bekanntesten Einsteiger-Stativköpfen überhaupt zählen. Für 2020 hat Manfrotto jetzt den 504HD zum 504X weiterentwickelt und dabei so viele grundlegenden Neuerungen eingeführt, dass man fast auch von einem komplett neuen Kopf sprechen könnte... weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...