Logo Logo
/// News

AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung

[10:56 Fr,28.Oktober 2022 [e]  von ]    

Neue KI Algorithmen revolutionieren gerade die Erschaffung von Bildern, Videos und auch 3D-Modellen und machen die Methoden so einfacher zugänglich als bisher. Die gerade neu vorgestellt KI AvatarCLIP ermöglicht jetzt auch die Erstellung und die Animation von 3D-Avataren nur per Textinput. So erlaubt es AvatarCLIP im Gegensatz zu professioneller Software, die Expertenwissen erfordert, einen 3D-Avatar in einer beliebigen gewünschten Form und Textur zu generieren und dessen Bewegungen dann zu steuern - nur mittels Textkommandos.





Der Prozess erfolgt in drei Schritten: erst wird nach Textbeschreibung eine grobe Körperform erzeugt (im Clip zum Beispiel "ein sehr dünner Mann"), dann wird das Aussehen (Details des Körpers der sowie Kleidung) definiert ("ein Ninja") und dann schließlich eine Bewegung ("Basketball werfen"). Körper können ebenso basierend auf berühmten Persönlichkeiten ("Barack Obama") wie fiktionalen Charakteren ("Iron Man") oder nach einer allgemeinen Beschreibung (wie etwa "Gärtner" oder "Zauberer") generiert werden. Hier der Code von AvatarCLIP.

AVATARCLIP
AvatarCLIP



In Zukunft: automatisch generierte Animationsfilme?


Wie immer ist auch diese Arbeit noch früh und zeigt vor allem, daß die vorgeschlagene Methode grundsätzlich funktioniert - Fehler der Textur und andere Unstimmigkeiten werden in zukünftigen Versionen verbessert werden. Demonstriert wird aber, wie einfach in Zukunft dreidimensionale Avatare beliebiger Personen erzeugt und auch animiert werden könnten - Endziel wäre dann die automatische Generierung von ganzen Animationsfilmen nur nach Textbeschreibung samt Interaktionen der Figuren miteinander und der ebenfalls automatisch erzeugten Umwelt und deren Gegenständen.

Celeb
Avatare bekannter Persönlichkeiten generiert durch AvatarCLIP



Human Motion Diffusion Model: text-to-motion


Eine weitere neue KI, die ebenfalls interessant ist für User, die mit 3D-Modellen und Animationen arbeiten, ist das Human Motion Diffusion Model (MDM) der Tel Aviv University, welches per "text-to-motion" die Steuerung von Bewegungen von 3D Modellen von Menschen per Texteingabe ermöglicht. Hier der zugehörige Programmcode samt Modellen.

Link mehr Informationen bei hongfz16.github.io

  
[2 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Jalue    13:01 am 29.10.2022
Das ist eine interessanter Einwand aus "Profiperspektive". Als Brot- und Butter- Realfilmerzeuger fällt mir auf:Wenn man auf die erstgenannte Seite surft, wird einem eine Art...weiterlesen
meer    23:40 am 28.10.2022
Hallo zusammen, habe das Bedürfnis, mich zu melden, :) ich bin Studio Manager in einem der grössten Motion Capture Studios Europas. Das Problem, dass ich immer wieder sehe bei...weiterlesen
[Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildApple stellt Updates für mehr Performance für Final Cut Pro, Compressor, iMovie u.a. vor bildRøde X - Mikrofone und Unify Software Mixer fürs Streaming - XCM-50, XDM-100


verwandte Newsmeldungen:
3D:

PortKeys PT6: Günstiger 5.2" Kameramonitor mit 3D-LUTs, HDMI-Out und 100% DCI-P3 7.November 2022
Luma AI: Neue Smartphone-App erstellt 3D-Modelle von beliebigen Objekten 21.Oktober 2022
DreamFusion: Neue Google KI generiert beliebige 3D Modelle - nur per Textbeschreibung 11.Oktober 2022
Neuer Nvidia Algorithmus erschafft aus Photos eines Objekts ein bearbeitbares 3D-Modell 24.Juni 2022
Selbstgebaut: Die 35mm Filmkamera aus dem 3D-Drucker 20.Mai 2022
Nvidia Instant NeRF - 3D-Szene aus 2D-Bildern in Rekordzeit 28.März 2022
Vier neue, analoge 65-mm-IMAX Filmkameras in der Entwicklung 21.März 2022
alle Newsmeldungen zum Thema 3D

Machine Learning:

Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
Topaz Video Enhance AI 3.0: Neue KI-Funktionen und großer Preisrabatt 24.Oktober 2022
Luma AI: Neue Smartphone-App erstellt 3D-Modelle von beliebigen Objekten 21.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 28.November 2022 - 16:36
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*