KI Forum



VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM »


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



-paleface-
Beiträge: 4458

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- »

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion



patfish
Beiträge: 275

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish »

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.



medienonkel
Beiträge: 711

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel »

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.



roki100
Beiträge: 15309

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 »

"Deine Zeit ist begrenzt. Verschwende sie nicht damit, das Leben eines Anderen zu leben"
(Steve Jobs)



Darth Schneider
Beiträge: 19508

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider »

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris



 Aktuelle Beiträge [alle Foren]
 
» SmallRig @ NAB 2024: Potato Jet Stativ, Brandon Li Cage, VB212 Akku
von Darth Schneider - Mi 16:41
» Canon öffnet RF-Mount - Erste Objektive von Sigma (18-50 mm f/2.8) und Tamron (11-20 mm f/2,8)
von GaToR-BN - Mi 15:38
» Retention Video Editing ist tot
von Frank Glencairn - Mi 15:13
» Resolve-Mac, 5000€
von Franz86 - Mi 14:34
» Was schaust Du gerade?
von Bluboy - Mi 13:54
» Apple Vision Pro: Verkaufsstart (USA) ab Februar für 3.499,- Dollar + neuer Werbeclip
von cantsin - Mi 13:39
» Flackern bei der Digitalisierung - USB Grabby
von Laboriosa - Mi 12:21
» Audition CS6 > Arbeitsbereich aus Versehen gelöscht
von Herbie - Mi 12:10
» Was hast Du zuletzt gekauft?
von ruessel - Mi 12:02
» DJI Power 500 und 1000: Mobile Powerstations mit bis zu 1.024 Wh
von slashCAM - Mi 9:27
» Atomos Neon 24 - 4K HDR-Grading Display-Recorder
von teichomad - Mi 9:14
» Atomos Ninja als HDMI-Recorder
von Saint.Manuel - Mi 8:41
» DaVinci Resolve 19: Die neuen Funktionen ausführlich erklärt
von freezer - Mi 8:20
» Meine erste Kritik in Filmthread :-)
von Frank Glencairn - Mi 8:12
» Kostenloser Fairlight Workshop mit Mary Plummer
von Frank Glencairn - Mi 6:31
» AMDs Notebook APU Strix Halo - besser als Apples M3 Pro Chip?
von macaw - Mi 6:31
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von cantsin - Di 20:31
» Musikvideo Floridas Klaus "Che Guevara"
von MK - Di 18:37
» Realistischer und mehr Details - Adobe Firefly Image 3 Model für Web und Photoshop
von slashCAM - Di 14:48
» Adobe Firefly KI jetzt auch mobil in neuer Express App verfügbar
von slashCAM - Di 14:15
» Z Cam E2G, E2C, E2-6F, E2-S6, E2-F8
von Clemens Schiesko - Di 13:45
» Canon öffnet RF-Mount - aber nur für APS-C
von stip - Di 10:10
» Linsen (Vintage, Anamorphic & Co.)
von Frank Glencairn - Di 9:35
» Cannes 2024
von 7River - Di 9:28
» Blackmagic PYXIS 6K: Die Vollformat „Box“-Kamera mit Viewfinder, 2x SDI, Sideplates (!) uvm.
von Frank Glencairn - Di 9:24
» Woody Allen: Coup de Chance (ab Herbst 2023, Venedig)
von Skeptiker - Di 8:19
» Panasonic HC X2000 und Rode
von rush - Mo 21:02
» SmallRig: Creators Toolkit
von Darth Schneider - Mo 15:13
» Bullet Time Setup aus 75 DSLRs :)
von LarsS - Mo 12:49
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von MK - Mo 12:12
» Kostenlose Motion Cam App ermöglicht erstmals CinemaDNG RAW-Videoaufnahme auf Smartphones
von cantsin - Mo 9:39
» Air2S Problem Speicherkarte
von Jott - Mo 9:34
» Was hörst Du gerade?
von klusterdegenerierung - Mo 1:00
» CyberLink PowerDirector: Noch mehr integrierte KI-Effekte für Video
von medienonkel - So 18:40
» Anfänger im Schnitt Stunden- bzw. Tageshonorar Beteiligung am Gewinn
von Bergspetzl - So 18:17