Postproduktion allgemein Forum



KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



Fragen rund um die Nachbearbeitung, Videoschnitt, Export, etc. (div. Software)
Antworten
ruessel
Beiträge: 9740

KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

meldung vom 14.9.2020: Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.
Quelle: https://www.spektrum.de/news/ki-synchro ... obal-de-DE

Gruss vom Ruessel



Frank Glencairn
Beiträge: 22535

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Ganz beachtlich.

Bin ja mal gespannt, wie sich das auf Synchros auswirkt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 9740

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

In fünf Jahren ist das in allen Handys und Flats fest eingebaut....eine kleine Revolution.
Gruss vom Ruessel



Bluboy
Beiträge: 4333

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Bluboy »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,



ruessel
Beiträge: 9740

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ich bin eher der Ansicht dass es,wenn es gut funktioniert von Markt verschwinden wird,
Lügenpresse?

ich glaube die Büchse der Pandora ist nun offen. Wird starke Konsequenzen in den sozialen Medien oder Nachrichten aus fremden Ländern haben, an Gericht verwertbaren Videofiles gar nicht erst zu denken.
Gruss vom Ruessel



Frank Glencairn
Beiträge: 22535

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von Frank Glencairn »

Das wurde bei den Deepfakes vor ein paar Jahren auch schon behauptet, hat sich aber auch als Ente herausgestellt.
Sapere aude - de omnibus dubitandum



ruessel
Beiträge: 9740

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Ja, da hast du auch Tonnen von perfekten Referenzmaterial benötigt und viel Zeit. jetzt nur eine gute Grafikkarte.
Gruss vom Ruessel



srone
Beiträge: 10474

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von srone »

ich fürchte wenn es so weitergeht, braucht man bald nichts mehr selberdrehen, du beschreibst der ki alle wesentlichen details deines films et voila, das fertige mp4 landet auf deiner festplatte...;-)

lg

srone
ten thousand posts later...



ruessel
Beiträge: 9740

Re: KI synchronisiert Lippen und Audio in Echtzeit

Beitrag von ruessel »

Hier kann kostenlos gerendert werden: http://bhaasha.iiit.ac.in/lipsync/

Einfach Videofile und Tonspur hochladen (limitiert auf 20 Sekunden)
Gruss vom Ruessel



slashCAM
Administrator
Administrator
Beiträge: 11262

KI synchronisiert Lippenbewegungen mit Audio in Echtzeit

Beitrag von slashCAM »


Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Ec...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
KI synchronisiert Lippenbewegungen mit Audio in Echtzeit



 Aktuelle Beiträge [alle Foren]
 
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von Frank Glencairn - Di 6:35
» Warnung vor LED-Leuchten mit internem Akku
von Frank Glencairn - Di 6:26
» Was schaust Du gerade?
von roki100 - Di 0:52
» ZRAW - Allgemeines und Umwandlung
von roki100 - Mo 22:49
» After Effects CS6 Green Screen Frage
von macaw - Mo 22:07
» Apple setzt auf lokale KIs in iPhone, iPad und Mac
von Jost - Mo 20:48
» Sony Alpha 9 III Sensor Test: Shutter, Debayering und Dynamik
von iasi - Mo 20:35
» IDEENFINDUNG: Wie man spannende Filme entwickelt! mit Vi-Dan Tran (Actiondesigner DUNE)
von Nigma1313 - Mo 16:54
» Panasonic AG AC 90 Zubehörschuh
von martin2 - Mo 16:53
» Zu verkaufen Viltrox 56mm 1.4 Viltrox 85mm 1.8 MKII Fuji X mount
von Jörg - Mo 14:27
» Musk macht GROK zu Open Scource
von SamSuffy - Mo 13:09
» The Next Big Thing? LED-Riesenkugel Sphere will Massen-Immersion neu definieren
von Alex - Mo 13:08
» Mocha Pro 2024 integriert 3D-Tracking von SynthEyes
von slashCAM - Mo 13:00
» Was hast Du zuletzt gekauft?
von Funless - Mo 12:54
» Software Tools für Productivity
von Frank Glencairn - Mo 12:51
» welches mikro für live-konzerte?
von Skeptiker - Mo 11:11
» Mikrohalterung Sony FS5 und Z150
von nicecam - Mo 11:05
» Apple Vision Pro: Verkaufsstart (USA) ab Februar für 3.499,- Dollar + neuer Werbeclip
von Frank Glencairn - Mo 9:18
» Drohne bauen, die nicht zu orten ist …?
von Jalue - So 22:02
» Werbung - es geht auch gut ;) Sammelthread
von 7River - So 17:07
» Monitor-Leuchte als Alternative zur Tischlampe ? - Quntis ScreenLinear Pro
von Jack43 - So 16:14
» Oppenheimer - inhaltlich und spirituell
von Frank Glencairn - So 15:43
» - Erfahrungsbericht - DJI Pocket 3
von klusterdegenerierung - So 13:20
» LG investiert 1 Milliarde Dollar in OLED-Produktion
von slashCAM - So 11:36
» 30-300mm T4 Cinezoom von Viltrox
von rush - So 8:03
» Revolutionäre Video-KI Sora soll noch dieses Jahr kommen
von Alex - So 7:49
» Wenn nennt man die Musik?
von Alex - So 7:29
» 7Artisans Sprite 24-96mm T2.9 - 4x Cinezoom für S35
von roki100 - Sa 22:57
» Was hörst Du gerade?
von klusterdegenerierung - Sa 20:42
» Biete: Manfrotto MH057M0-Q5 Kugelkopf
von beiti - Sa 18:17
» Suche LUT names Acuity
von jojo1243 - Sa 17:40
» Plant Nikon eine REDCODE RAW-Offensive zur NAB 2024?
von iasi - Sa 14:57
» The Crow — Rupert Sanders
von Gol - Sa 12:09
» Lohnt Kauf Canon HV40
von Bruno Peter - Sa 12:00
» Pika integriert Sound-Effekte in seine KI-Videos
von slashCAM - Sa 10:24