KI Forum



VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11279

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM »


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



-paleface-
Beiträge: 4644

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- »

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion



patfish
Beiträge: 309

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish »

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.



medienonkel
Beiträge: 937

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel »

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.



roki100
Beiträge: 17954

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 »

"Deine Zeit ist begrenzt. Verschwende sie nicht damit, das Leben eines Anderen zu leben"
(Steve Jobs)



Darth Schneider
Beiträge: 24530

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider »

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris



 Aktuelle Beiträge [alle Foren]
 
» Nikon patentiert HDMI RAW RGGB Ausgabe - eingebettet in YUV-Streams
von CameraRick - Fr 12:06
» Stone, Antonioni, Greenaway und Zapruder
von Darth Schneider - Do 22:34
» GoPro MAX 2 gesichtet und DJI Osmo 360 komplett geleakt
von Clemens Schiesko - Do 19:45
» Alien: Romulus - Teaser Trailer online - produziert von Ridley Scott, gedreht auf Alexa 35
von Darth Schneider - Do 18:17
» Bekommt DJI bald neue Drohnen-Konkurrenz?
von medienonkel - Do 18:00
» Resolve rückstandslos vom Rechner entfernen.
von Jörg - Do 14:39
» Musikvideo „Trust“ Insta 360
von Magnetic - Do 13:36
» Wmv Video kein Ton auf Handy, welcher Codec?
von popaj - Do 12:54
» Aputure STORM 400x: Wetterfeste 400W LED mit ProLock Bowens-Mount
von Rockcrusher - Do 11:28
» Drastische Preissenkung bei Intel Mainstream-CPU - Core Ultra 7 265KF unter 300 Euro
von Jörg - Do 11:12
» Mal etwas zum Anschauen
von gammanagel - Do 10:38
» Was hörst Du gerade?
von Bluboy - Mi 10:35
» Neuer Atomos Ninja TX Monitor-Recorder - leichter, heller, vielseitiger
von slashCAM - Mi 9:18
» Portkeys LS7P - 7"-On-Camera-Monitor mit integrierter Kamerasteuerung
von DKPost - Mi 8:35
» Motor Smart: Intelligenter AutoFocus-Motor von PDMovie nutzt LiDAR und KI
von roki100 - Mi 1:47
» Hollyland Lark Max 2: extrem kleines Funkmikro
von rush - Di 20:00
» Camera (Camcorder?) als Hauptkamera für YouTube gesucht
von RalRam - Di 18:42
» Theateraufführung - wie Ton abgreifen?
von Darth Schneider - Di 17:22
» Nanlite lumo - Einklappbares Ringlicht für Smartphone Creator
von Alex - Di 16:09
» Erste KI-generierte Footage in einer Netflix Original Serie
von slashCAM - Di 10:36
» Iphone 15- 4K Video in 60p Kino Modus uvm
von Axel - Mo 21:21
» Olympus OM-D E-M5 Mark II OVP incl. Meike 28mm/2.8
von thsbln - Mo 20:20
» Fuji Fujinon XF 56mm f1.2 R MKI
von thsbln - Mo 19:13
» 7artisans 15mm/4.0 asph. Nikon Z OVP
von thsbln - Mo 17:49
» Nikon Nikkor Z 28mm 2.8 SE
von thsbln - Mo 17:38
» Neue Sony CFexpress-Karten mit 960/1920 GB verdoppeln Geschwindigkeit
von Jott - Mo 16:57
» Fuji Fujifilm X-M5 kit XC 15-45mm F3.5-5.6 OIS PZ OVP Garantie
von thsbln - Mo 16:26
» Eddie AI kann jetzt auch skriptbasierte Rohschnitte erstellen
von slashCAM - Mo 10:21
» Sony soll eine FX8 mit 12K-Sensor für den Herbst planen
von Mantas - Mo 10:14
» Suche XLR-Kamera-Mikrofon
von cantsin - Mo 0:36
» Panasonic LUMIX S9 - Kleinste 6K V-Log Kamera für 1.699 Euro
von Darth Schneider - So 18:20
» Illusionen
von manfred52 - So 11:53
» BMD Production Camera 4k in 2025?
von Darth Schneider - Sa 17:22
» Sollte ich das Firmware updat bei meiner EOS R8 durchführen?
von walang_sinuman - Sa 14:37
» Manueller Focus mit Darstellung der Entfernung in Metern?
von Jörg - Sa 13:40