Logo Logo
/// News

Kostenloses Nvidia KI-Tool: Gesichter einfach per Sprache in Echtzeit animieren

[16:08 Mo,14.März 2022 [e]  von ]    

Nvidia hat mit Omniverse Audio2Face ein kostenloses Programm vorgestellt, mit dessen Hilfe sich 3D-Gesichtsmodelle einfach nur durch Sprachinput - auch in Echtzeit - animieren lassen. Omniverse Audio2Face beta ermöglicht die Animation eines 3D-Charakters mittels jeder beliebigen Sprachaufnahme, egal ob der Charakter für ein Spiel, einen Film, einen digitalen Echtzeit-Assistenten oder einfach nur zum Spaß animiert werden soll. Seine Besonderheit ist, daß es das Gesicht nicht nur lippensynchron zur Sprachaufnahme animiert, sondern daß es passend zum Tonfall und Inhalt der gesprochenen Worte auch noch die entsprechenden Gefühle per Mimik unterstreicht.





Das Tool versteht eine ganze Reihe von unterschiedlichen Sprachen und kann für interaktive Echtzeitanwendungen live per Mikrophon oder als traditionelles Tool zur Erstellung von Gesichtsanimationen mittels Sprachaufnahmen verwendet werden. Audio2Face ist mit "Digital Mark" vorinstalliert - einem 3D-Charaktermodell, das für einen einfachen Einstieg einfach per eigenem Audio animiert werden kann. Es können natürlich auch eigene Modelle (zum Beispiel von Epic Games Unreal Engine 4 Meta-Human) importiert und genutzt werden. Der Audio-Input wird dann in ein vortrainiertes Deep Neural Network eingespeist, die Ausgabe steuert dann die 3D-Eckpunkte des Charaktermeshs, um die Gesichtsanimation in Echtzeit zu erstellen. Mittels verschiedener Nachbearbeitungsparameter kann die Performance des Charakters optimiert werden.

Audio2Face-2
Nvidia Omniverse Audio2Face



Animation mehrerer Gesichter


Per Audio2Face können sowohl menschliche als auch menschenähnliche 3D-Gesichter, egal ob realistisch oder stilisiert, animiert werden. Mittels mehrerer Instanzen von Audio2Face ist es auch möglich, mehrere verschiedene Charaktere in einer Szene zu animieren - alle animiert von derselben oder von verschiedenen Audiospuren. So können zum Beispiel auch Dialoge zwischen einem Duo, ein Sing-Off zwischen einem Trio, ein synchrones Quartett und vieles mehr zum Leben erweckt werden. Die Mimik der einzelnen Gesichter kann gezielt verstärkt oder auch abgeschwächt werden

Audio2Face-1
Nvidia Omniverse Audio2Face



Gezieltes Steuern von Gefühlsäußerungen


Audio2Face bietet die Möglichkeit, spezielle Emotionen (wie etwa Wut, Angst, Trauer oder Erregung) für ein Gesicht auszuwählen und deren Ausdruck zu steuern. Die KI animiert dann automatisch passend das Gesicht, die Augen, den Mund, die Zunge und die Kopfbewegung, um die gewählte emotionale Bandbreite und den gewählten Grad an Intensität zu erreichen.



Systemvoraussetzungen


Systemvoraussetzung ist Windows 10 64-Bit, mindestens eine Intel i7 oder AMD Ryzen CPU mit 4 Kernen und 2.5 GHz, 16 GB RAM, eine 500 GB SSD sowie (natürlich) eine Nvidia RTX GPU mit mindestens 6 GB VRAM. Omniverse Audio2Face beta, das auf einer schon 2017 erschienenen Studie von Nvidia beruht, kann hier kostenlos heruntergeladen werden.

Link mehr Informationen bei www.nvidia.com

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
Cyborg    20:12 am 14.3.2022
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildThinkPad X1 Extreme Gen 5: Mobile 16" Workstation mit 3.840 x 2.400 Display und RTX 3080 Ti bildAccsoon M1 verwandelt Smartphones in Kamera-Vorschaumonitor samt Livestreaming


verwandte Newsmeldungen:
Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
alle Newsmeldungen zum Thema Machine Learning

Computer:

Razer Blade 15 OLED: Erstes Notebook mit 240 Hz OLED Display 9.Mai 2022
Erste Intel Arc GPUs - endlich Konkurrenz für AMD und NVIDIA? 31.März 2022
Nvidia Instant NeRF - 3D-Szene aus 2D-Bildern in Rekordzeit 28.März 2022
MSI: Neue CreatorPro Workstations mit neuer Nvidia RTX A5500 mit 16 GB 24.März 2022
Zahlreiche neue Workstation GPUs von Nvidia - u.a. RTX A5500 23.März 2022
ThinkPad X1 Extreme Gen 5: Mobile 16" Workstation mit 3.840 x 2.400 Display und RTX 3080 Ti 14.März 2022
Brillenloses 3D: Dimencos Simulated Reality soll überzeugen (ua. in Acer ConceptD Laptop) 19.Februar 2022
alle Newsmeldungen zum Thema Computer


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 18.Mai 2022 - 15:21
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*