KI Forum



VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren



Alles rund um KIs (DeepLearning) Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von slashCAM » Do 22 Sep, 2022 11:30


Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürz...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren




-paleface-
Beiträge: 3957

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von -paleface- » Do 22 Sep, 2022 12:23

Ich sag ja...noch 10 Jahre dann läuft alles auf Knopfdruck.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




patfish
Beiträge: 229

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von patfish » Fr 23 Sep, 2022 10:52

Da Face replacement ein extrem aufwendiges Verfahren ist, die Bewegung/Animation der Muskel extrem komplex ist und wir Menschen aus täglichen Training jede kleine Unnatürlichkeit sofort bemerkten (uncanny), hat KI hier tatsächlich einen großen Vorteil. Einzig, um wirklich 100 % realistische, hochaufgelöste Modelle (z.B. für Hollywoodfilme) anzutrainieren, braucht es eine riesige und hochqualitative Datenbank an Referenzfototage und enorm viel Rechenkapazität. Dafür spart man sich aber Motion Capture und viele CG Artists.

Bei klassischen VFX Tasks wie Rotoscoping, Keying, Inpainting, Cleanplates usw. sind die aktuellen KI-Tools aber noch nicht ausgereift genug, um hochwertigen VFX-Projekten zu genügen. Speziell die manuelle Kontrolle über den Output muss noch viel zugänglicher werden. Das ist generell, der Punkt an dem noch am meisten geforscht und entwickelt werden muss!

Aja, und Ebsynt ist kein KI Toll! Das setzt auf klassische Optical Flow Algorithmen.




medienonkel
Beiträge: 447

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von medienonkel » Fr 23 Sep, 2022 14:18

Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und unangetasteten settings/prompt kommt 100 frames später ganz was anderes raus.

Wie patfish ja schon sagte hat ebsynth nichts mit KI zu tun. Bei relativ statischem Gesichtsausdruck kann die Methode so klappen, sobald aber größere Mimik dazu kommt, geht das Glitchen los.
Da wäre entsprechendes deep faking eher angebracht. Gibt's ja auch schon seit... Jahren.
Und auch schon für full body faking.

Trotzdem hat er sehr kreativ die tools genutzt. Aber auch gleich die aktuellen Einschränkungen gezeigt.




roki100
Beiträge: 12523

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von roki100 » Sa 24 Sep, 2022 23:25

Jesus und das (zweite) Gebot: "Du sollst deinen Nächsten lieben wie dich selbst!’
SlashCam-User und das (erste) Gebot über alles: "Du sollst deine Kamera lieben wie dich selbst!"




Darth Schneider
Beiträge: 12927

Re: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

Beitrag von Darth Schneider » Mo 26 Sep, 2022 16:08

Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;)
Gruss Boris




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Was schaust Du gerade?
von klusterdegenerierung - Do 23:34
» RED Rhino V-Raptor 8K S35 mit Canon RF-Mount für 19.500,- Dollar
von iasi - Do 22:41
» Bitrate beim Rendern
von cantsin - Do 22:34
» Sony FR7 erhält als erste PTZ-Kamera Netflix Zertifizierung
von DKPost - Do 21:15
» Analog Aufnahme mit Pinnacle DV500 DVD
von andihonda - Do 21:03
» Was hast Du zuletzt gekauft?
von klusterdegenerierung - Do 18:11
» Timeline-Einstellung dauerhaft ändern?
von klusterdegenerierung - Do 18:10
» Erste C1 Drohnen-Zertifikate für DJI Mavic 3 und Mavic 3 Cine
von blueplanet - Do 17:11
» Fragen zu: Boom-Pole und MKE-600
von pillepalle - Do 16:55
» Blackmagic DaVinci Resolve für iPad Pro: Ultramobiler Videoschnitt mit Farbkorrektur
von iasi - Do 16:46
» KI macht´s möglich: Fake-Filmstills von Fritz Langs Star Wars, Jodorowskys Tron, Peter Jacksons Batman und mehr
von Darth Schneider - Do 16:32
» Photoshop für Videos? Pixelmator Pro 3.2 bekommt Video Editing / Compositing Layer
von ksingle - Do 15:54
» Video8/Hi8 digitalisieren - Welchen dieser Camcorder benutzen?
von Jott - Do 15:46
» Frame.io Camera-to-Cloud Beta für RED V-RAPTOR & V-RAPTOR XL verfügbar
von slashCAM - Do 15:00
» Aus dem Uncanny Valley mitten ins Herz
von markusG - Do 14:45
» Weiteres RED Patent im Zusammenhang mit komprimiertem RAW
von Jott - Do 14:30
» Namensgebung und Marketing für Filmfirmen
von GaToR-BN - Do 13:52
» Datenschutz mal anders...... in der Wasseruhr.
von markusG - Do 13:47
» Manta, Manta - Zwoter Teil — Til Schweiger/Michael David Pate/Miguel Angelo Pate
von Map die Karte - Do 13:33
» -SONY FX- Erfahrungsaustausch
von klusterdegenerierung - Do 11:58
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Games
von Map die Karte - Do 10:24
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - Do 10:22
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Serien nicht Filme
von Map die Karte - Do 10:21
» Actioncam um die 200 eur, günstig nicht Billig, zum Spinnfischen und SUP
von vobe49 - Do 8:32
» Avatar: The Way of Water - offizieller Teaser Trailer
von 7River - Do 6:47
» Bezahlbarer Kopfhörer mit breiter Stereobasis gesucht.
von ruessel - Do 4:44
» Gutes BTS
von Axel - Mi 22:30
» Neu: Adobe Premiere Pro 23.1 und After Effects 23.1 bringen Verbesserungen
von -paleface- - Mi 17:38
» Lightroom - Personen automatisch maskieren
von suchor - Mi 15:25
» Nvidia RTX 4080/90 Preissenkung, Konkurrent AMD RX 7900 XT(X) startet in Kürze
von Gore - Mi 11:40
» Bildschirmvergrößerung/Fokushilfe A7s III
von nahmo - Mi 11:28
» Photoshop - Fotos automatisch restaurieren
von Alex - Mi 11:20
» Fujifilm x-s10 blinkt rot Sensorreinigung
von lemmisart - Mi 10:35
» Foto- vs. Filmobjektive.
von andieymi - Mi 10:23
» Welche Bitrate bei Videos ist sinnvoll?
von SHIELD Agency - Mi 10:23
 
neuester Artikel
 
Fake-Filmstills per KI

Die neuen bildgenerierenden KIs bescheren dem Genre "Was wäre wenn...?" ganz neue Möglichkeiten - ein eigenes Subgenre hat sich in der Community der Bild-KI Midjourney gebildet, in welchem User die verschiedensten Möglichkeiten durchspielen, wie berühmte Filme ausgesehen hätten, wenn sie von einem anderen Regisseur, mit einem völlig anderen visuellen Stil gedreht worden wären. weiterlesen>>

Neues RAW Patent von RED

RED wurde ein weiteres Patent im Zusammenhang mit komprimiertem RAW erteilt. Womit die Firma wohl weitere Lizenzeinnahmequellen in neuen Geräteklassen erschließen will... weiterlesen>>