Logo Logo
/// News

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

[11:28 Do,22.September 2022 [e]  von ]    

Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürzlich schon der Clip einer virtuellen dynamischen Modeschau gezeigt.

Lighthizer-face





Der Filmemacher und Musiker Scott Lighthiser hat nun in den folgenden Clips drei andere kostenlose KI Apps für einfach gemachte, aber ziemlich spektakuläre Spezialeffekte kombiniert: den KI Bildgenerator Stable Diffusion, das Style-Transfer Tool Ebsynth und den KI Stimmentransformator Koe Recast.



Die verwendeten KI-Tools


Grundlage war jeweils ein kurzes Video von ihm selbst, das auf 1.024 x 1.024 Pixel skaliert wurde (da die Tools noch nicht mit höheren Auflösungen umgehen können). Mit Hilfe von Stable Diffusion per Google Colab und dessen img2img-Funktion, mit dem sich ein Bild gezielt per KI ändern läßt, erzeugte Lighthiser dann unterschiedliche aber passgenaue Variationen des Sprechers - eine weibliche griechische Marmorstatue, einen alten Mann sowie einen blutigen Zombie. Diese drei Bilder wurden dann per KI auf 1.024 x 1.024 Pixel hochskaliert und jeweils in Ebsynth als Stilvorlage genutzt, welche danach auf das ganze Video angewendet wurde. Um schließlich auch noch seine Stimme passend zu verändern, nutzte Lighthiser die KI-gestützte App Koe Recast, welche eine Sprachaufnahme in eine beliebige andere Stimme transformiert.

3-Faces



Noch krasser ist seine folgende Horror-Animation, die nicht nur das Gesicht, sondern seinen ganzen Körper in den eines Untoten verwandelt (das Prompt dafür war übrigens "The dry creature, film still from the movie directed by Denis Villeneuve and David Cronenberg with art direction by H. R. Giger and Bernie Wrightson"):



Das Horror-Motiv eignet sich für diese Demos besonders, weil beim Stiltransfer mit Ebsynth gelegentlich entstehende dynamische Artefakte, die ansonsten stören würden, hier den Schockeffekt eher verstärken.

Klassische VFX wären arbeitsintensiver


Der klassische Workflow wäre um einiges komplizierter gewesen: erst müsste das Gesicht des Sprechers per Gesichtscapturing als 3D-Modell eingelesen werden, dann mit Hilfe eines 3D-Modellingprogramms ein 3D-Modell des neuen Gesichts erstellt werden, welches dann wiederum auf das Originalgesicht gemappt und gerendert wird. Das alles erfordert neben den richtigen Tools auch viel Spezialwissen. Dazu käme dann noch ein zum jeweiligen Charakter passender Sprecher, der den Text synchron zur jeweiligen Lippenbewegung spricht.

Lighthizer-body


Im Gegensatz dazu entstanden Dank des "simplen" KI-Workflows und relativ einfach zu bedienender Tools in kurzer Zeit stark unterschiedliche, verfremdete Versionen des jeweiligen Originalvideos. Ein kleiner Vorgeschmack auf die umfassenden Möglichkeiten der sich gerade explosiv entwickelnden KI Tools im Bereich Bild - und auch Video.



Die KI plus VFX Zukunft


Die Videos sind als kleine Demonstration zu verstehen und geben eine Vorstellung davon, welche Effekte durch die Kombination mehrerer KI Tools schon jetzt erzeugt werden können - bevor es überhaupt auf Video spezialisierte KIs gibt, die auf Wunsch ganze Videos nur per Textbeschreibung frei erzeugen oder editieren können, so wie Stable Diffusion oder DALL-E2 es jetzt schon mit Bildern machen.

twitter.com/albertbozesan/status/1572628538129321984?s=11&t=GbmM3an7mARLIwiOju6I3w (VFX-Makeup per KI=:


Wenn solche Tools in Zukunft verfügbar sind und die Auflösung und Bildqualität noch weiter verbessert werden, dann wird - nach der bis jetzt vor allem durch Hardware angetriebenen Revolution des Filmemachens - durch die Hilfe von KI-Tools die nächste Stufe gezündet werden: professionelle und trotzdem einfach zu erstellende Spezialeffekte (und auch Animationen) werden einer breiten Masse an Anwendern zugänglich sein.

Link mehr Informationen bei twitter.com

  
[5 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Darth Schneider    16:08 am 26.9.2022
Viel echter, irgendwie doch, wirklich fast wie der Elvis, zumindest das Bild, nur wenn er singt…;) Gruss Boris
roki100    23:25 am 24.9.2022
https://www.youtube.com/watch?v=Jr8yEgu7sHU
medienonkel    14:18 am 23.9.2022
Ich frage mich auch, wie man in stable diffusion konstant passende keyframes erzeugt. Selbst bei neutralem Hintergrund und betonierter Kadrierung, konstantem seed und...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildNeue Nvidia RTX 4090: Doppelt so schnell wie RTX 3090 Ti - aber 1.949 Euro teuer bildDJI Osmo Mobile 6: Neuer Smartphone-Gimbal mit verbesserter Objektverfolgung


verwandte Newsmeldungen:
Machine Learning:

Whisper: Neue kostenlose KI verwandelt Sprache in Text und übersetzt automatisch in alle Sprachen 26.September 2022
KI Bilder mit Stable Diffusion jetzt auch direkt in Photoshop und Gimp erzeugen 18.September 2022
Neuer Algorithmus ermöglicht eigene Objekte in KI-generierten Bildern 15.September 2022
Kostenlose Bildgenerierung per KI: Stable Diffusion jetzt mit einfachem Installer 13.September 2022
Video-Editing per Textkommando: Nach Text-zu-Bild kommt Text-zu-Video KI 11.September 2022
Insta360 X3 - 360°-ActionCam mit neuen Bildsensoren und KI-Funktionen 11.September 2022
Wie man eine animierte Modeschau einfach mit kostenlosen KI Tools produziert 2.September 2022
alle Newsmeldungen zum Thema Machine Learning

Spezialeffekte:

Blackmagic Design: Die finale Version von DaVinci Resolve 18 ist da! Kollaboration per Cloud, neue VFX und mehr... 21.Juli 2022
Updates für Maxon One Compositing Tools - ua. Trapcode Suite 17, VFX Suite 2 16.September 2021
Audio Design Desk 1.7: Echtzeit-Editing Tool für SFX jetzt mit DAW Synchronisation 18.Juli 2021
Nuke Indie -- neue, günstige Version der Compositing Software für freie VFX Artists 23.Juli 2020
Update: Red Giant VFX Suite 1.5 mit neuem Lens Distortion Tool 18.Mai 2020
Wer bekommt den VFX-Oscar? Die Special Effects der nominierten Filme 9.Februar 2020
Neue Version des kostenlosen VFX- und Schnittprogramms HitFilm Express 14 3.Februar 2020
alle Newsmeldungen zum Thema Spezialeffekte


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 29.September 2022 - 17:54
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*