Logo Logo
/// News

Luma AI: Neue Smartphone-App erstellt 3D-Modelle von beliebigen Objekten

[10:17 Fr,21.Oktober 2022 [e]  von ]    

Im Bereich der KI erfolgt der Schritt von der Studie zum Startup ziemlich schnell - so demonstriert das neue Unternehmen LumaLabsAI seine Luma AI App, welche auf einem Smartphone 3D-Ansichten (und auch Modelle) von Objekten nur anhand einiger Photos generieren kann. Vorerst ist das Projekt noch in einer geschlossenen Beta (man kann sich für einen Zugang bewerben), aber es gibt schon einige eindrucksvolle Beispiele von verschiedenen per Luma AI erzeugen 3D-Modellen. Vorerst ist Luma AI nur für iOS verfügbar, eine Android-Version ist aber geplant.

Luma-AI-Scan
Scan per Luma AI App




Wir hatten schon früher öfter über über Neural Radiance Fields (NeRFs) berichtet, die zugrundeliegende KI-Technologie von LumaAI - wie etwa Nvidia Instant NeRF oder Googles NeRF in the Wild - virtuelle Kamerafahrten aus Photos. Unseres Wissen ist LumaAI aber das erste Projekt, welches NeRFs in Form einer Smartphone-App einem großen Kreis von Usern allgemein zugänglich machen wird.


(Quelle Twitter @Erisdraw3D)

NeRFs per Rundum-Video


Anders als vorherige NeRF-Methoden benötigt Luma AI nicht eine Vielzahl von Photos als Input, sondern einen Videorundgang um das gewünschte Objekt. Das Objekt kann nach erfolgtem Capturing und dessen Verarbeitung dann sowohl in seiner Umgebung als auch isoliert von allen Seiten interaktiv betrachtet werden - sogar Zoomfahrten in das Objekt sind (begrenzt) möglich, oder auch synthetisierte Photos aus beliebigen Perspektiven. Ebenso kann die App eine 360°-Ansicht eines Raumes generieren, welcher dann mittels eines virtuellen 360° Kameraschwenks angeschaut werden kann. Laut einem der Entwickler dauert die Generierung einer 3D-Ansicht (welche online per Cloud erfolgt) eines Raumes allerdings noch ca. 30 Minuten.

Luma-AI-Galerie


Die Anwendungsmöglichkeiten einer solchen App sind zahlreich - so kann das 3D-Objekt dann zum Beispiel in einem 3D-Modelingprogramm wie Blender oder einer Game-Engine wie Unreal weiter editiert, in einer bestimmten Ansicht als Photo exportiert oder in Augmented oder Virtual Reality Umgebungen importiert werden.

LumaLabsAI (nicht zu verwechseln mit LumaFusion, den Machern der mobilen beliebten Videoschnitt-App LumaTouch) wurde erst vor rund einem Jahr von Ingenieuren gegründet, welche vorher in Apples AR- und Computer Vision-Gruppe gearbeitet haben. Um die resultierenden 3D-Modelle im Netz präsentieren zu können, plant das Unternehmen, einen eigenen einbettbaren Player für seine Produkte zu entwickeln, der es zum Beispiel Onlineshops ermöglicht, interaktive dreidimensionale Ansichten eines Produkts anzubieten.

Virtuelle Filmproduktionen


LumaLabsAI hat aber auch spezifische, die Filmproduktion betreffende Anwendungsgebiet im Blick: so soll ein Plugin für Unreal entwickelt werden, welches den direkten Import von per Luma AI gescannten Umgebungen und Objekten ermöglicht, um in virtuellen Filmproduktionen eingesetzt zu werden, zum Beispiel für In-Camera-VFX oder virtuelles Location Scouting.



Im folgenden Video ist zu sehen, wie die Luma AI App funktioniert: in einer Augmented Reality Ansicht des Live-Kamerabildes kann der User in der App eine virtuelle 3D-Box um ein Objekt ziehen, welches gecapturet werden soll. Dann muss man im Kreis gehen, die Kamera immer auf das Objekt gerichtet, um Ansichten aus allen Seiten einzufangen.

Zusammen mit Algorithmen wie DreamFusion, welches die Generierung von 3D Modellen nur nach Textbeschreibung ermöglicht, ergeben sich immer mehr Möglichkeiten, 3D-Modelle einfach zu einzusetzen. LumaAI wird mit Sicherheit nicht die einzige Anwendung bleiben, welche NeRFs zur Synthese von 3D-Modellen aus Videos oder Photos nutzt - wir dürfen gespannt sein auf die nächsten Apps.

Link mehr Informationen bei lumalabs.ai

  
[6 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Darth Schneider    10:28 am 21.10.2022
Wirklich sehr beeindruckend, ein sanftes Maja mit After Effects Lüftchen für das iPhone weht auf uns zu..;))) Gruss Boris
roki100    20:27 am 17.10.2022
Einfach tolle Sache!
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildBlackmagic Davinci Resolve für iPad - Mehr Details sowie Preise und Verfügbarkeit bildNeue Thunderbolt-Version wird bis zu 4x schneller: 120 statt 40 Gbit/s


verwandte Newsmeldungen:
3D:

PortKeys PT6: Günstiger 5.2" Kameramonitor mit 3D-LUTs, HDMI-Out und 100% DCI-P3 7.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
DreamFusion: Neue Google KI generiert beliebige 3D Modelle - nur per Textbeschreibung 11.Oktober 2022
Neuer Nvidia Algorithmus erschafft aus Photos eines Objekts ein bearbeitbares 3D-Modell 24.Juni 2022
Selbstgebaut: Die 35mm Filmkamera aus dem 3D-Drucker 20.Mai 2022
Nvidia Instant NeRF - 3D-Szene aus 2D-Bildern in Rekordzeit 28.März 2022
Vier neue, analoge 65-mm-IMAX Filmkameras in der Entwicklung 21.März 2022
alle Newsmeldungen zum Thema 3D

Machine Learning:

Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
Topaz Video Enhance AI 3.0: Neue KI-Funktionen und großer Preisrabatt 24.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 28.November 2022 - 16:36
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*