Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 10262

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel



Frank Glencairn
Beiträge: 26509

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 10262

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel



Bluboy
Beiträge: 5369

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,



ruessel
Beiträge: 10262

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel



Frank Glencairn
Beiträge: 26509

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 10262

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel



srone
Beiträge: 10474

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone »

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
ten thousand posts later...



ruessel
Beiträge: 10262

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel



slashCAM
Administrator
Administrator
Beiträge: 11279

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM »


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



 Aktuelle Beiträge [alle Foren]
 
» DRT statt CST in Resolve?
von Darth Schneider - Sa 21:19
» Was hast Du zuletzt gekauft?
von ruessel - Sa 16:54
» Camcorder
von Astradis - Sa 9:20
» DaVinci Resolve 20.1 Studio
von Bruno Peter - Sa 6:56
» Motor Smart: Intelligenter AutoFocus-Motor von PDMovie nutzt LiDAR und KI
von Darth Schneider - Sa 5:44
» Günstigere Alternative zur Sennheiser AVX-Funkstrecke
von Clemens Schiesko - Fr 17:09
» OM Log-400 zu Rec709 Transformation
von cantsin - Fr 14:59
» Trainings zu Davinci Workflows
von toniwan - Fr 12:58
» Z Cam E2G, E2C, E2-6F, E2-S6, E2-F8
von Clemens Schiesko - Fr 12:44
» RØDE verschenkt neuen Wireless Micro Kameraempfänger als Upgrade
von tom - Do 22:00
» Google DeepMind Genie 3 - interaktive Welten in Echtzeit generieren
von philr - Do 20:03
» Resolve DCTLs
von TheBubble - Do 19:35
» Blackmagic DaVinci Resolve 20.1 bringt Unterstützung für Immersive Workflows und mehr
von pillepalle - Do 19:00
» Neue Komposition erstellen
von Herbie - Do 18:39
» DJI fordert mit neuer Osmo 360° Kamera den Marktführer heraus
von medienonkel - Do 17:39
» DJI MIC 2 - **ZU VERKAUFEN**
von ksingle - Do 16:54
» Vorsicht, Crew United Abo Falle!!
von Frankiee - Do 15:19
» Keinen interessiert's, welche Kamera du benutzt
von Bildlauf - Do 13:15
» Sony Alpha 1 II - Neue Firmware bringt zahlreiche neue Profi-Features
von rush - Do 7:35
» Filmoptimierte Steuerung Canon R6 II
von cantsin - Mi 22:45
» Verikalen Kameraschwenk mit After Effects CS6 stabilisieren
von Herbie - Mi 20:04
» *VERKAUFE* SONY FX6
von ksingle - Mi 18:33
» Neue Umfrage: Generative Video-KI: Hast du ein Abo?
von Alex - Mi 13:35
» AMD KI Workstation Grafikkarte Radeon AI R9700 mit 32 GB VRAM soll 1.200 Dollar kosten
von slashCAM - Mi 7:06
» Projekt "The Unfinished Film" - Adobe lädt ein zum Remix per KI
von antonknoblach - Di 20:03
» C500 MKI RAW File Converter
von Andromeda - Di 17:15
» Nanlite wand - handliches Vollfarben-Licht für Filmemacher und Vlogger
von slashCAM - Di 14:24
» Runway Aleph - Hollywood-Spezialeffekte per KI für alle?
von tom - Di 12:28
» Empfehlung neues Videoschnittprogramm
von popaj - Di 1:17
» Ruckelige Bewegungen - noch was zu retten?
von Bildlauf - Mo 21:46
» Viltrox bringt 25mm/1.7 APS-C Budget-Objektiv
von rush - Mo 21:45
» Windows Laptops bald mit Apple M3 Mac auf Augenhöhe?
von markusG - Mo 20:17
» LUT me now!
von Bildlauf - Mo 19:56
» Neuer Portkeys PT5 III Kameramonitor wiegt ca. 150g und ist etwas heller als zuvor
von Bildlauf - Mo 19:43
» Olight und Linogy: Moderne AA(A)- Lade- und Akku-Technologien bei Kickstarter
von slashCAM - Mo 16:36