slashCAM
Administrator
Administrator
Beiträge: 11262

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM » Do 22 Sep, 2022 11:30


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren




-paleface-
Beiträge: 3849

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- » Do 22 Sep, 2022 12:23

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




patfish
Beiträge: 220

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish » Fr 23 Sep, 2022 10:52

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.




medienonkel
Beiträge: 414

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel » Fr 23 Sep, 2022 14:18

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Panasonic GH6: SSD-Aufzeichnung über USB
von Clemens Schiesko - Sa 22:03
» Neue Sony Cinema Line Kamera kommt demnächst - mit APS-C Sensor?
von iasi - Sa 21:47
» M. Night Shyamalans "Knock at the Cabin" - offizieller Trailer
von 7River - Sa 20:15
» Aktuelle APS-C/S35 DSLMs - FUJI X-H2s und Canon EOS R7 - Dynamik-Shootout
von roki100 - Sa 20:03
» Verkaufe Century Xtreme Fisheye
von eliawebde - Sa 19:45
» x-rite i1 Display Pro - jetzt color checker i1 pro
von FocusPIT - Sa 18:48
» Erster Kinosaal mit Dolby Cinema eröffnet in Deutschland
von iasi - Sa 18:15
» Neue Nvidia RTX 6000 Profi-Grafikkarte: 48 GB VRAM und 18.176 CUDA Cores
von freezer - Sa 16:25
» Was schaust Du gerade?
von 7River - Sa 14:07
» Mr. & Mrs. Smith — Donald Glover/Francesca Sloane/Phoebe Waller-Bridge
von Map die Karte - Sa 12:58
» Neue Nvidia RTX 4090: Doppelt so schnell wie RTX 3090 Ti - aber 1.949 Euro teuer
von cantsin - Sa 10:59
» DJI Osmo Mobile 6: Neuer Smartphone-Gimbal mit verbesserter Objektverfolgung
von Schwermetall - Sa 10:35
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - Sa 8:58
» Fujifilm X-H2S in der Praxis: 6.2K 10 Bit ProRes HQ, F-Log2 und Hauttöne, Video-AF uvm.
von Frank Glencairn - Sa 8:39
» Was hörst Du gerade?
von roki100 - Fr 23:50
» Suche Netztteil für die alte BM Pocket
von funkytown - Fr 23:34
» ACR Änderungen für verbesserte Fuji Raws
von klusterdegenerierung - Fr 20:57
» Django — Leonardo Fasoli/Maddalena Ravagli
von Map die Karte - Fr 20:04
» Was lernst Du gerade?
von klusterdegenerierung - Fr 17:05
» Weimar klassisch international: Schloss Belvedere
von 3Dvideos - Fr 15:56
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von roki100 - Fr 15:26
» Neue Firmware 4.0 für Sony FX9
von slashCAM - Fr 14:48
» Gerücht: Sony bringt APS-C-Cinekamera FX30
von Darth Schneider - Fr 14:47
» VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren
von medienonkel - Fr 14:18
» Schnittzeit für Konzertfilm einschätzen
von wolfgang - Fr 10:38
» Mercalli v6 ausgegebene Files riesig!
von magnumthevoice - Fr 10:34
» Beverly Hills Cop: Axel Foley — Mark Molloy/Josh Appelbaum/Will Beall/André Nemec
von markusG - Fr 7:43
» Stable Diffusion Texture Generator für Blender
von roki100 - Fr 2:20
» Hellraiser (2022) - offizieller Trailer
von NurlLeser - Do 23:39
» Männerschnupfen - Playmobilversion
von hahn52 - Do 22:20
» Netflix gibt grünes Licht für die ARRI Alexa 35
von iasi - Do 22:02
» Log mit Raw Funktion?
von roki100 - Do 19:41
» Suche HDMI Kabel für A7s III uns Ninja V
von musikseele - Do 18:02
» Kennt jemand den Song?
von klusterdegenerierung - Do 17:56
» Stereoskopie mit DaVinci / Sony Vegas
von der Tilo - Do 13:23
 
neuester Artikel
 
FUJI X-H2s Canon R7 - Dynamic Shootout

Kürzlich sind die FUJI X-H2s sowie die Canon EOS R7 zu unserer Dynamik-Clip Sammlung gestoßen, auf die wir natürlich umgehend einen kritischen Blick werfen wollen. Liegt der Belichtungsspielraum der beiden S-35 Kameras "auf Augenhöhe"? weiterlesen>>