KI Forum



VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



Alles rund um KIs (DeepLearning) Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM » Do 22 Sep, 2022 11:30


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren




-paleface-
Beiträge: 3949

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- » Do 22 Sep, 2022 12:23

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




patfish
Beiträge: 229

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish » Fr 23 Sep, 2022 10:52

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.




medienonkel
Beiträge: 441

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel » Fr 23 Sep, 2022 14:18

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.




roki100
Beiträge: 12523

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 » Sa 24 Sep, 2022 23:25

Jesus und das (zweite) Gebot: "Du sollst deinen Nächsten lieben wie dich selbst!’
SlashCam-User und das (erste) Gebot über alles: "Du sollst deine Kamera lieben wie dich selbst!"




Darth Schneider
Beiträge: 12873

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider » Mo 26 Sep, 2022 16:08

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Weiteres RED Patent im Zusammenhang mit komprimiertem RAW
von CineFilm - Sa 10:27
» FFmpeg direkt im Browser nutzen - FFMPEG.WASM
von Frank Glencairn - Sa 10:25
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Serien nicht Filme
von Map die Karte - Sa 10:10
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Games
von Map die Karte - Sa 10:05
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - Sa 10:00
» Was schaust Du gerade?
von Darth Schneider - Sa 9:59
» Blackmagic DaVinci Resolve für iPad Pro: Ultramobiler Videoschnitt mit Farbkorrektur
von iasi - Sa 9:32
» Foto- vs. Filmobjektive.
von Darth Schneider - Sa 8:23
» AVCHD-Videos schneiden. Welches Muxer-Ausgabeformat?
von Jott - Sa 7:53
» DJI Mini 3: Neue Einsteiger-Drohne mit C1-Drohnen-Zertifikat im Anflug
von Jörg - Sa 7:26
» Nvidia RTX 6000 mit 48 GB Speicher und 8 Pin Stromanschluss kostet 7349 Dollar
von iasi - Fr 22:40
» JVC Camcorder MiniDV-Einzugsproblem (defekt?)
von Jott - Fr 21:24
» Wenn man schon beim Trailer wegen eines Logiklochs Lachkrämpfe bekommt
von 7River - Fr 20:16
» RED weitet compressed RAW-Patente aus
von j.t.jefferson - Fr 19:37
» 7Artisans Vision T1.05 Cine Objektive
von klusterdegenerierung - Fr 19:36
» Was hast Du zuletzt gekauft?
von ruessel - Fr 17:03
» Maske erzeugt Schleier - Bug?
von Cineman - Fr 16:07
» Filmen Tipps für Anfänger - Einfach und schnell umzusetzen
von Mitten-ins-Auge - Fr 14:53
» Cinematic Hacker B-Roll [Short]
von HAL_1704 - Fr 14:13
» -SONY FX- Erfahrungsaustausch
von cantsin - Fr 14:01
» Indiana Jones 5
von Steelfox - Fr 13:54
» Warum nicht schon längst ein "Drehmos" Sensor?
von DKPost - Fr 13:54
» Camcorder Canon Legria hf g25 "Bildschirmschoner"
von Micha_2022 - Fr 11:36
» DaVici Resolve 14 +++ Film/Tracks im "Editor" ruckelt
von dienstag_01 - Fr 11:01
» Loupedeck Live S: Frei konfigurierbares Bedienpult fürs Streaming und mehr
von slashCAM - Fr 10:03
» Bald nur noch Sehschlitze
von Frank Glencairn - Fr 9:49
» Sony ZV-1 für Vlogger -- neue 4K-Kompaktkamera mit Webcam-Funktion und Klappdisplay
von Darth Schneider - Fr 6:27
» Filmic Pro 7: Professionelle Kamera-App für Andoid und iOS mit neuen Funktionen und Abomodell
von MK - Do 22:10
» Sennheiser MKH416 P48 Mikrofon mit Rycote Windschutzsystem
von Pianist - Do 17:54
» Wer hat uns das Schwenkdisplay eingebrockt?
von klusterdegenerierung - Do 15:42
» zoom h3 vr und und Kamera
von ruessel - Do 12:15
» Follow Focus CAME-TV MA-W1 Wireless
von MatthiasGottung - Mi 19:48
» DJI Phantom 2 mit DJI H3-3D Gimbal Monitor
von MatthiasGottung - Mi 19:05
» Metabones von Canon EF - Sony NEX Smart Adapter II
von MatthiasGottung - Mi 18:27
» DJI Ronin 1 - inkl Transportkoffer - Ringgrip - Zusatzakku etc
von MatthiasGottung - Mi 18:00
 
neuester Artikel
 
Neues RAW Patent von RED

RED wurde ein weiteres Patent im Zusammenhang mit komprimiertem RAW erteilt. Womit die Firma wohl weitere Lizenzeinnahmequellen in neuen Geräteklassen erschließen will... weiterlesen>>

Test: Resolve auf dem iPad

Wir haben soeben unseren Beta-Zugang zu Blackmagic Designs DaVinci Resolve for iPad erhalten und wollen hier einen ersten Überblick sowie unsere ersten Eindrücke vom "ultramobilen" Tablet-Videoschnitt und Farbkorrektur-Workflow schildern. Zum Einsatz kam neben der (bemerkenswert stabilen) Betaversion von DaVinci Resolve 18 for iPad Apples aktuelles iPad Pro 12.9" (6. Generation) WiFi Cellular inkl. 1 TB SSD sowie der aktuell Apple Pencil (2. Generation). weiterlesen>>