Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 6588

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Sa 19 Sep, 2020 23:49

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12124

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 09:02

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.




ruessel
Beiträge: 6588

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 09:31

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Bluboy
Beiträge: 1161

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy » So 20 Sep, 2020 10:43

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,




ruessel
Beiträge: 6588

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 11:09

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




Frank Glencairn
Beiträge: 12124

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn » So 20 Sep, 2020 11:34

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.




ruessel
Beiträge: 6588

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » So 20 Sep, 2020 15:08

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




srone
Beiträge: 9225

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone » So 20 Sep, 2020 15:26

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
"x-log is the new raw"




ruessel
Beiträge: 6588

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel » Mo 21 Sep, 2020 10:34

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel

Ohrenschmaus: www.ohrwurmaudio.eu




slashCAM
Administrator
Administrator
Beiträge: 11260

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM » Mi 23 Sep, 2020 14:45


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» CDA-TEK AFX Adapter: Autofocus per LIDAR für jede Kamera
von roki100 - Do 21:14
» Was hast Du zuletzt gekauft?
von AndySeeon - Do 21:09
» Erfahrung mit ATEM Mini Bridge?
von phili2p - Do 20:51
» Manfrotto Fluid-Videokopf 504X: Modularer Slider- und Stativ-Videokopf mit vielen Neuerungen
von rob - Do 20:19
» Was ist die beste Lösung für längere HDMI-Strecken?
von prime - Do 20:18
» Was schaust Du gerade?
von klusterdegenerierung - Do 19:58
» Rot ist eigentlich nicht meine Farbe
von klusterdegenerierung - Do 19:49
» A6600 Video?
von cantsin - Do 19:35
» Sony A7S III erste Erfahrungen, Bugs, Problemlösungen,...
von klusterdegenerierung - Do 19:24
» Schoeps Colette CMD42 digitaler Mikrofonverstärker
von pillepalle - Do 18:49
» Einblick in Einnahmen
von MrMeeseeks - Do 18:38
» Hvx200 Zoom Hebel geht nicht ?
von krodelin - Do 17:43
» Sky: Dritte Staffel von "Das Boot" - erste Serie weltweit in 8K und Dolby Atmos
von Frank Glencairn - Do 17:20
» !!BIETE!! ATOMOS NINJA INFERNO 4K60p
von klusterdegenerierung - Do 17:07
» Was hörst Du gerade?
von klusterdegenerierung - Do 17:04
» RED KOMODO 6K - jetzt bestellbar
von iasi - Do 15:50
» TOP 10 Photoshop 2021 Funktionen
von ruessel - Do 15:14
» AMD stellt neue Grafikkarten vor: RX 6800 (XT) und RX 6900
von rudi - Do 15:14
» CATWEAZLE
von klusterdegenerierung - Do 14:59
» VPX Neuer Patch
von fubal147 - Do 14:14
» VDL (Akt.Garantie) neuer Patch ist da
von fubal147 - Do 14:09
» "Blinder Himmel" - Kurzfilm
von lensoperator - Do 14:06
» Die ersten Kritiken zu Tenet. Eure Meinung zum Film?
von Benutzername - Do 14:03
» Ursa Mini + Sigma 50-100
von lensoperator - Do 14:00
» DIY - Rüssel MEMS Mikrofon(e)
von ruessel - Do 13:37
» Neue Funktionen für Sonys Virtual Production Services für Live-Produktionen per Netz
von slashCAM - Do 13:27
» ** BIETE ** Canon EF 50mm f1,2 L USM
von ksingle - Do 13:26
» ruckler nach dem rendern
von cantsin - Do 12:27
» Betrugsmaschen wachsen ständig
von Bluboy - Do 11:03
» Insta360 ONE X2 -- wasserfeste 360° Kamera mit neuen Funktionen vorgestellt
von CandyNinjas - Do 11:01
» Nvidia mit brachialem Grafikkarten-Update - Neue Ampere GPU für den Videoschnitt
von mash_gh4 - Do 10:13
» Neuer Camcorder für die Arbeit
von Addie - Do 9:35
» Lock playhead - scroll timeline?
von klusterdegenerierung - Do 8:57
» Multicam mit 30 und 25 Frames. Workflow-Hilfe.
von Jott - Do 8:41
» XC-10: HDMI Timecode / Trigger bei 4K
von troescherw - Do 7:25
 
neuester Artikel
 
Manfrotto Fluid-Videokopf 504X

Die 504er Fluid-Videokopfserie von Manfrotto dürfte zu den bekanntesten Einsteiger-Stativköpfen überhaupt zählen. Für 2020 hat Manfrotto jetzt den 504HD zum 504X weiterentwickelt und dabei so viele grundlegenden Neuerungen eingeführt, dass man fast auch von einem komplett neuen Kopf sprechen könnte... weiterlesen>>

neuestes Video
 

Aktuelles Video:
concatenation 2 OLYMPIC GAME

Die olympischen Spiele als großes bewegtes Puzzle, bei dem man sich die Teilchen passend zuschneiden kann -- genug Geduld vorausgesetzt...