KI Forum



VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM »


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



-paleface-
Beiträge: 4422

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- »

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion



patfish
Beiträge: 270

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish »

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.



medienonkel
Beiträge: 684

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel »

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.



roki100
Beiträge: 15067

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 »

"Deine Zeit ist begrenzt. Verschwende sie nicht damit, das Leben eines Anderen zu leben"
(Steve Jobs)



Darth Schneider
Beiträge: 19107

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider »

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris



 Aktuelle Beiträge [alle Foren]
 
» Uwe Boll: Wie man Filme produziert ohne pleite zu gehen!
von Darth Schneider - Fr 7:16
» Interessante Firmware-Updates für Sony Alpha 1, 7S III und 7 IV
von rush - Fr 7:14
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Frank Glencairn - Fr 6:22
» >Der LED Licht Thread<
von Frank Glencairn - Fr 5:57
» Was schaust Du gerade?
von Darth Schneider - Fr 5:56
» Venice 2 Bildqualität zum halben Preis? Sony Burano Sensortest
von cantsin - Fr 0:52
» Sondergagen - Wer aufmuckt, wird nicht mehr besetzt
von macaw - Do 23:39
» Nikon stellt NIKKOR Z 28-400mm f/4-8 VR Superzoom-Objektiv vor
von iasi - Do 22:45
» FCPX/Motion, DaVinci/Fusion... Tipps&Tricks
von roki100 - Do 22:27
» Panasonic AG-UX90 Phantomspeisung defekt?
von Fabi283 - Do 22:03
» Mac SSD Speed Messung?
von TomStg - Do 21:43
» Neues SIGMA 50mm F1,2 DG DN | Art Objektiv wiegt 745g
von dienstag_01 - Do 21:21
» Deity Sidius TC Sync Software
von pillepalle - Do 19:58
» Red Komodo 6K + Gimbal, Advanced Ring Grip und viel Zubehör
von Sevenz - Do 19:01
» Camera Update 8.6: Viele neue Funktionen für Blackmagic Kameras
von slashCAM - Do 17:42
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von Swat - Do 16:06
» 4 Gründe hartes Licht zu nutzen
von ruessel - Do 15:45
» [gelöst] 3.5mm Klinkenstecker Überwurfmutter
von Skeptiker - Do 14:42
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Do 13:49
» -SONY FX- Erfahrungsaustausch
von rush - Do 13:40
» AOC bringt 44.5" OLED-Riesenmonitor mit 98.5% DCI-P3
von MK - Do 12:07
» Adobe führt die neue Funktion "Structure Reference" in Firefly ein
von slashCAM - Do 10:54
» Exhuma - die Südkoreaner können erfolgreiche Filme drehen
von -paleface- - Do 8:46
» Was hörst Du gerade?
von roki100 - Do 0:22
» Sony A9 III im Praxistest - ein echter Überraschungscoup auch für Filmer
von Mantas - Mi 23:27
» Video Pro X stürzt beim Multi Cam Schnitt ab
von MisterX - Mi 21:47
» Verschachtelte Timeline im richtigen Seitenformat
von Clemens Schiesko - Mi 18:43
» Untertitel in FCPX bei vorhandener Textdatei?
von R S K - Mi 18:34
» Deckenlicht mobil abschatten
von Frank Glencairn - Mi 17:31
» LUTs für Canon R6 Mark II
von TomStg - Mi 12:24
» RED versucht User nach Übernahme durch Nikon zu beruhigen
von dienstag_01 - Mi 11:52
» Entfesseltes Storytelling mit der Video-KI Sora?
von Frank Glencairn - Mi 5:54
» Slashcam 2001 - Das Internet vergisst nichts!
von macaw - Di 21:37
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von Frank Glencairn - Di 18:54
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von iasi - Di 13:32