KI Forum



VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



Alles rund um KIs (DeepLearning) Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM » Do 22 Sep, 2022 11:30


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren




-paleface-
Beiträge: 3945

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- » Do 22 Sep, 2022 12:23

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




patfish
Beiträge: 229

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish » Fr 23 Sep, 2022 10:52

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.




medienonkel
Beiträge: 440

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel » Fr 23 Sep, 2022 14:18

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.




roki100
Beiträge: 12523

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 » Sa 24 Sep, 2022 23:25

Jesus und das (zweite) Gebot: "Du sollst deinen Nächsten lieben wie dich selbst!’
SlashCam-User und das (erste) Gebot über alles: "Du sollst deine Kamera lieben wie dich selbst!"




Darth Schneider
Beiträge: 12843

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider » Mo 26 Sep, 2022 16:08

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Aldi Medion-PC für Schnitt tauglich? (Komponenten siehe Text)
von markusG - Mo 19:21
» Bald nur noch Sehschlitze
von Bildlauf - Mo 19:10
» Was hast Du zuletzt gekauft?
von klusterdegenerierung - Mo 19:02
» Verständnisfrage parfokale Objektive.
von cantsin - Mo 18:51
» Sony ZV-1 für Vlogger -- neue 4K-Kompaktkamera mit Webcam-Funktion und Klappdisplay
von cantsin - Mo 18:33
» -SONY FX- Erfahrungsaustausch
von Axel - Mo 18:04
» Aus dem Uncanny Valley mitten ins Herz
von markusG - Mo 16:44
» TTArtisan C 35mm f/0,95: Super-lichtstarkes, manuelles S35/APS-C Objektiv für 295,- Euro
von slashCAM - Mo 16:36
» Wo bekomme ich Adobe Patches?
von antonknoblach - Mo 13:44
» Übersicht: Black Friday Angebote und Cashbacks für Filmer 2022: Kameras, Objektive, Notebooks und mehr
von tom - Mo 12:16
» Mofage POCO PL nach E/RF/L/Z Mount-Adapter inkl. Drop-In Filter für Vari-ND für 329,- Dollar
von Darth Schneider - Mo 12:14
» Spielbergs´ The Fabelmans - Ein Flop?
von 7River - Mo 12:13
» VTFF: Sorge vor Rezession
von -paleface- - Mo 12:07
» Sicherheitskopie von SD-Karten unterwegs
von fabchannel - Mo 12:00
» Andor | offizieller Trailer | Disney+
von Funless - Mo 8:40
» Telepromter Software für Windows (aber bitte keine App!)
von eitlefilme - Mo 7:55
» Was ist der zuverlässigste Broadcast-Safe-Filter?
von TheBubble - Mo 6:32
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Games
von Map die Karte - Mo 5:30
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Serien nicht Filme
von Map die Karte - Mo 5:29
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - Mo 5:27
» Was hörst Du gerade?
von klusterdegenerierung - Mo 1:28
» Seit ihr auch enttäuscht von Luminar NEO?
von klusterdegenerierung - Mo 0:28
» Cleanfeed Monitor LineUp Windows / MacOS
von Frank Glencairn - So 23:53
» The Breakfast Club - die 1000ste Bewertung auf IMDb
von Benutzername - So 23:51
» Was schaust Du gerade?
von klusterdegenerierung - So 22:32
» Monitor-Rekorder vs. Laptop zur Sichtung/Speicherung (unterwegs)
von vaio - So 20:09
» Blackmagic Davinci Resolve für iPad - Mehr Details sowie Preise und Verfügbarkeit
von R S K - So 14:14
» Premiere Pro CS (Kaufversion) Vorlage auf viele nicht zusammenhängende Clips zuweisen
von Bluboy - So 10:47
» UPDATE 3: Noch laufende Black Friday Deals von Dedolight, Sennheiser, Asus, Samyang, Lowepro,...
von slashCAM - So 10:45
» Irix Cine 45mm T1.5 -- drittes Vollformat Objektiv angekündigt
von ruessel - So 8:21
» Problem beim Speedbooster-Update [solved]
von nahmo - Sa 21:46
» Asus ProArt Studiobook (Pro): Mobile Workstation mit OLED Display und Xeon-CPU
von wolfgang - Sa 21:06
» Erster Kinosaal mit Dolby Cinema eröffnet in Deutschland
von iasi - Sa 15:44
» Bezahlbarer Kopfhörer mit breiter Stereobasis gesucht.
von ruessel - Sa 15:32
» Sony baut wieder Consumer Monitore: Inzone M3 mit 240 Hz und 99% sRGB
von medienonkel - Sa 14:54
 
neuester Artikel
 
Uncanny Valley überwunden

Kürzlich hat Roope Rainisto ein KI-Dreambooth Modell für "Realistische Fotos" präsentiert. Und dabei ist uns klar geworden, dass wir mittlerweile einen Kipppunkt bei der Erzeugung realistischer Fotos mittels Künstlicher Intelligenz überschritten haben... weiterlesen>>

Black Friday Angebote und Cashbacks für Filmer 2022

Nachdem wir schon viele aktuelle Rabattangebote in unseren News vorgestellt haben, findet ihr hier nun auch alle laufenden Sonderangebote - seien es Black Friday Specials oder Cashbacks -, die für Filmer interessant sind, noch einmal übersichtlich geordnet nach verschiedenen Produktkategorien. weiterlesen>>