Logo Logo
/// News

DreamFusion: Neue Google KI generiert beliebige 3D Modelle - nur per Textbeschreibung

[10:14 Di,11.Oktober 2022 [e]  von ]    

Nach der Generierung beliebiger Bilder und Videos mittels einer einfachen Textbeschreibung kommt jetzt der nächste logische Entwicklungsschritt - die Erzeugung beliebiger 3D-Modelle. Die neue, von Google entwickelte und "DreamFusion" getauft Methode basiert ebenfalls auf einem vortrainierten 2D-Text-Bild-Diffusionsmodell (wie etwa Googles Imagen oder Stablility.ais Stable Diffusion) und generiert nach einer einfachen Textbeschreibung 3D-Objekte, welche aus jedem beliebigen Winkel betrachtet, neu beleuchtet oder in eine 3D-Umgebung integriert werden können.





Implizit war auch schon bei den 2D-Bildern der bildgenerierenden KIs klar, daß diese nur anhand des Trainings mittels Milliarden von Bildern samt begleitender Textbeschreibung eine Art Verständnis vom dreidimensionalen Raum und den Objekten darin entwickelt hat. Per DreamFusion lassen sich mithilfe dieses Wissens jetzt gezielt einzelne 3D-Objekte erzeugen. Der Ansatz von DreamFusion erfordert deshalb keine expliziten 3D-Trainingsdaten und keine Änderungen am Bilddiffusionsmodell. Die generierten NeRF (Neural Radiance Field)-Modelle können (per Marching-Cubes-Algorithmus) in 3D-Meshes exportiert werden, welche dann leicht in 3D-Renderern oder einer 3D-Modellierungssoftware genutzt werden können.

DreamFusion-3D-Examples
DreamFusion


DreamFusion kann nicht nur ein beliebiges Objekt erzeugen, sondern es auch eine Handlung ausführen lassen oder mit einem weiteren Objekt (z.B. einem Kleidungsstück) kombinieren (wie etwa "ein Geist, der einen Hamburger isst" oder "ein Schimpanse, der wie Heinrich VIII., König von England, gekleidet ist").

Wie auch schon bei den 2D-Bildgenerierungs-KIs ist es auch hier möglich, mittels eines Prompts mehrere Ergebnisse zu erzeugen - zudem kann der Algorithmus leicht auf die gleichzeitige Generierung mehrerer 3D-Modelle erweitert werden. Es gibt auch schon eine offizielle Online-Galerie mit hunderten von per DreamFusion erzeugten 3D-Modellen.

DreamFusion-3D-SW
DreamFusion


Die Chance, so einfach komplexe 3D-Modelle beliebiger Objekte zu erzeugen wird viele Anwendungsmöglichkeiten vereinfachen oder auch neu eröffnen. Der nächste logische Schritt ist dann die einfache Animation dieser Modelle und die gezielte Modifikation einzelner Eigenschaften der generierten Objekte.

DreamFusion-3D-Paar-Examples
DreamFusion


Leider hat Google (noch) nicht den zugehörigen Code für DreamFusion veröffentlicht oder einen öffentlichen Zugang zu dem Modell bereitgestellt. Daher gibt es noch keine Möglichkeit für User, selbst 3D-Modelle zu generieren, aber findige Entwickler haben bereits angefangen, die Idee hinter DreamFusion per Stable Diffusion als offenes Projekt mit dem Namen Stable-Dreamfusion als Open Source Projekt umzusetzen.

Link mehr Informationen bei dreamfusion3d.github.io

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildDJI Store Day: bis zu 40% Rabatt und Geschenke bildNvidia RTX 4090 Nachfolger bringt Netzteile zum Schmelzen?


verwandte Newsmeldungen:
3D:

Nvidia Magic3D - beliebige 3D-Objekte durch Textbeschreibung erzeugen 29.November 2022
PortKeys PT6: Günstiger 5.2" Kameramonitor mit 3D-LUTs, HDMI-Out und 100% DCI-P3 7.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
Luma AI: Neue Smartphone-App erstellt 3D-Modelle von beliebigen Objekten 21.Oktober 2022
Neuer Nvidia Algorithmus erschafft aus Photos eines Objekts ein bearbeitbares 3D-Modell 24.Juni 2022
Selbstgebaut: Die 35mm Filmkamera aus dem 3D-Drucker 20.Mai 2022
Nvidia Instant NeRF - 3D-Szene aus 2D-Bildern in Rekordzeit 28.März 2022
alle Newsmeldungen zum Thema 3D

Machine Learning:

Heavy Metal meets Midjourney: Musikvideo aus 10.000 KI-generierten Bildern 4.Dezember 2022
Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 9.Dezember 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*