KI Forum



VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11279

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM »


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



-paleface-
Beiträge: 4644

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- »

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion



patfish
Beiträge: 303

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish »

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.



medienonkel
Beiträge: 924

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel »

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.



roki100
Beiträge: 17847

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 »

"Deine Zeit ist begrenzt. Verschwende sie nicht damit, das Leben eines Anderen zu leben"
(Steve Jobs)



Darth Schneider
Beiträge: 24302

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider »

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris



 Aktuelle Beiträge [alle Foren]
 
» Motor Smart: Intelligenter AutoFocus-Motor von PDMovie nutzt LiDAR und KI
von roki100 - Mo 1:52
» "32 Bit float" Recording - Ist das wirklich besser?
von pillepalle - Mo 1:47
» Konkurrenz für IMAX - Neues HDR-Premiumkinoformat Vue Epic für Europa
von Darth Schneider - Mo 0:14
» Was schaust Du gerade?
von roki100 - So 22:16
» 15.000 Euro - welche Kamera
von Darth Schneider - So 21:26
» DJIs Mic 3 Funkmikro kommt bald zusammen mit der Osmo 360 Kamera
von Darth Schneider - So 17:04
» Zittern mit 50fps Clip in 25fps Timeline
von iasi - So 16:59
» 4.000 Komparsen für "Tribute von Panem" gesucht
von philr - So 11:14
» Gurkenauslöser
von Jott - Sa 21:55
» Was hörst Du gerade?
von Darth Schneider - Sa 19:08
» Blackmagic Updates für Cloud Store, Video Assist und BRAW
von Rick SSon - Sa 13:34
» DaVinci Resolve 20 Workshop - AI Depth Map unkompliziert für Titel-Effekte nutzen
von rudi - Sa 12:02
» DJI Mini 5 Pro kommt in 5 Wochen - mit 50 Min Flugzeit und LiDAR
von Darth Schneider - Fr 17:35
» Panasonic LUMIX S1II und S1IIE für Videofilmer - bis zu 15 Blendenstufen und ARRI Log
von Darth Schneider - Fr 15:20
» Amazon Prime Day - ausgewählte Schnäppchen für Video, Foto & Co.
von GaToR-BN - Fr 12:57
» Sony ECM-778 - neues XLR-Richtmikrofon mit Hi-Res Audio für Profis
von ChristianG - Fr 10:07
» Social Media, KI & Co. - Neue Gefährdungslagen für die Meinungsvielfalt
von Axel - Do 14:17
» Nextorage cf-express Type a Erfahrung
von MuffinOne - Mi 23:26
» Wie Hitchcock mit Psycho nicht nur den Horror, sondern den Kinobesuch veränderte
von 7River - Mi 20:10
» Nikon Z6 III - Sensor-Bildqualität, Rolling Shutter, Dynamik - Günstige Z8 für Filmer?
von blueplanet - Mi 14:10
» GoPro MAX 2 gesichtet und DJI Osmo 360 komplett geleakt
von Clemens Schiesko - Mi 14:08
» Kamera, Objektive, Drohnen, Zubehör: Bis zu 50% Rabatt bei Sony, DJI & Co.
von slashCAM - Mi 13:48
» Neue, mehrschichtige Bildsensoren könnten 3-fache Lichtausbeute und Auflösung ermöglichen
von moowy_mäkka - Mi 13:08
» Atomos stellt Studiosonic Headphones vor - nur ein weiteres Rebranding?
von rush - Mi 7:36
» Aufbereitung von altem Filmmaterial Super 8 / Hight 8
von cantsin - Mi 7:23
» Was hast Du zuletzt gekauft?
von ruessel - Di 17:12
» Blackmagic PYXIS 6K - aktuell für 2.000 Euro erhältlich
von rush - Di 9:45
» Dynamic Range iPhone?
von Jott - Di 5:10
» KOMMERZ vs. KUNST als Regisseur
von Nigma1313 - Mo 20:42
» Biete: Blackmagic Pocket Cinema 4K mit viel Zubehör
von TheRealRobert - Mo 19:05
» Adobe Premier Pro 2024 Audiostereospur
von Asjaman - Mo 17:57
» DJI stellt Transport-Drohne FlyCart 100 mit 80 Kilo Nutzlast vor
von acrossthewire - Mo 16:35
» Bildschirmaufnahme mit VLC Player oder andere Software?
von Videopower - Mo 13:15
» Licht how to:
von Darth Schneider - Mo 12:24
» Nikon Z8 Firmware 3.0 ist da - Viele neue kostenlose Funktionen (u.a. AF, N-Log)
von Funless - Mo 12:18