slashCAM
Administrator
Administrator
Beiträge: 11262

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM » Do 22 Sep, 2022 11:30


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren




-paleface-
Beiträge: 3851

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- » Do 22 Sep, 2022 12:23

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




patfish
Beiträge: 222

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish » Fr 23 Sep, 2022 10:52

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.




medienonkel
Beiträge: 415

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel » Fr 23 Sep, 2022 14:18

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.




roki100
Beiträge: 12039

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 » Sa 24 Sep, 2022 23:25

Jesus und das (zweite) Gebot: "Du sollst deinen Nächsten lieben wie dich selbst!’
SlashCam-User und das (erste) Gebot über alles: "Du sollst deine Kamera lieben wie dich selbst!"




Darth Schneider
Beiträge: 12253

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider » Mo 26 Sep, 2022 16:08

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Sony stellt FX30 vor - Cinema Line goes Super35
von cantsin - So 12:19
» Kennt sich jemand mit Win Updates aus?
von klusterdegenerierung - So 11:54
» Was schaust Du gerade?
von Darth Schneider - So 11:46
» Neue Intel Raptor Lake CPUs kommen mit bis zu 34 Kernen und 6 GHz
von MK - So 11:27
» Neuer Speicherkapazitätsrekord: 320 und 640 GB CFexpress Typ A-Speicherkarten von Sony
von slashCAM - So 11:24
» Nach dem Trailer zu urteilen, könnte der doch was werden
von iasi - So 11:19
» Kompaktkamera für Video und Fotos
von Darth Schneider - So 10:50
» Apple iPhone 14 und iPhone 14 Pro: Bessere Low-Light Aufnahmen, Actioncam-Modus und Notruf per Satellit
von vaio - So 8:41
» Schnäppchenecke
von Frank Glencairn - So 8:29
» TTartisan 23mm 1.4 Fuji-X OVP
von thsbln - So 8:04
» Wer hat denn bei diesem Musikvideo Regie geführt? Tarantino?
von Frank Glencairn - So 7:02
» Deepfake: Bruce Willis digitaler Zwilling tritt in Werbeclips auf
von macaw - Sa 22:41
» Sony FX30 mit APS-C/S35 Sensor im ersten Hands-On: Handling, Hauttöne, AF uvm.
von Tscheckoff - Sa 22:39
» Nightwatch - Demons Are Forever (Nattevagten - dæmoner går i arv) — Ole Bornedal
von Map die Karte - Sa 21:33
» FX6 Skins
von roki100 - Sa 21:24
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von roki100 - Sa 20:26
» Fluidköpfe für Videoanwendungen
von Frank Glencairn - Sa 19:52
» Nikon Z9 wieso kein Hype?
von Rick SSon - Sa 18:54
» Blackmagic Cloud Pod und Cloud Store Mini 8TB - Netzspeicher einfach für Alle
von rush - Sa 18:25
» Blackmagic DaVinci Resolve 18.0.4 bringt Blackmagic RAW 2.7
von Bruno Peter - Sa 16:35
» Was hast Du zuletzt gekauft?
von j.t.jefferson - Sa 16:33
» Andor | offizieller Trailer | Disney+
von klusterdegenerierung - Sa 11:33
» The Crow — Rupert Sanders
von Map die Karte - Sa 11:12
» Magix stürzt ab bei Export
von Martin95 - Sa 11:07
» Intel ARC A770 Desktop-Grafikkarte ab 12.Oktober für ca. 400 Euro im Handel
von MK - Fr 22:49
» BRAW für Z CAM E2-Serie + Unterstützung in Resolve
von Rick SSon - Fr 22:35
» Resolve 18.0.4. ist da
von klusterdegenerierung - Fr 21:24
» Filmen Tipps für Anfänger - Einfach und schnell umzusetzen
von klusterdegenerierung - Fr 20:05
» Was hörst Du gerade?
von klusterdegenerierung - Fr 20:02
» Asterix & Obelix im Reich der Mitte (Astérix & Obélix: L'Empire du Milieu) — GC
von Jott - Fr 17:52
» Z Cam E2G, E2C, E2-6F, E2-S6, E2-F8
von Clemens Schiesko - Fr 17:01
» Rodenstock Digital Vario ND EXTENDED 82mm für 30 Eur?!
von roki100 - Fr 15:59
» Apple iPhone 14 Pro - Sensor-Qualität in 4K 10 Bit ProRes inkl. Dynamik und Rolling Shutter
von slashCAM - Fr 15:02
» Nach der Bild- die Videorevolution: Neue KI "Make-a-Video" generiert Videos nach Text
von slashCAM - Fr 14:03
» Alternativen zur Fritzbox mit mehr als 1GbE LAN
von JohnKlein94 - Fr 13:49
 
neuester Artikel
 
Apple iPhone 14 Pro Sensor Test

Das neue iPhone 14 Pro wirbt unter anderem mit noch cinematischeren Aufzeichnungsmöglichkeiten. Dies wird natürlich primär durch nachträgliche, digitale Eingriffe in das Bild erzielt. Doch auch der neue Sensor selbst bietet erweiterte Möglichkeiten... weiterlesen>>

Sony FX30 Test

Wir hatten Gelegenheit zu einem ersten Vorab Hands-On mit der neuen Sony FX30 mit 20.1 MP APS-C Sensor. Die Sony FX30 stellt mit einer UVP. von 2.299 Euro den günstigsten Einstieg in die Cinema Line von Sony dar - verfügt jedoch über nahezu alle Funktionen der Vollformat-Schwester FX3. Hier unsere ersten Aufnahmen und Erfahrungen mit der neuen S35-Sony FX30
weiterlesen>>