Logo Logo
/// News

Nvidia Instant NeRF - 3D-Szene aus 2D-Bildern in Rekordzeit

[13:02 Mo,28.März 2022 [e]  von ]    

Bei einem als "inverses Rendering" bezeichneten Prozess wird mithilfe von Künstlicher Intelligenz (KI) das Verhalten von Licht in der realen Welt nachempfunden, so dass Forscher eine 3D-Szene aus einer Handvoll 2D-Bildern rekonstruieren können, die aus verschiedenen Winkeln aufgenommen wurden. NVIDIA hat diesen Ansatz auf neue KI-Technologie namens Neural Radiance Fields (NeRF) angewendet, die besonders schnell zu Ergebnissen kommen sollen - und das Verfahren entsprechend "Instant NeRF" getauft.

NeRFs verwenden neuronale Netze, um realistische 3D-Szenen auf der Grundlage einer Sammlung von 2D-Bildern darzustellen und zu rendern. Das neuronale Netzwerk benötigt hierfür ein paar Dutzend Bilder, die aus verschiedenen Positionen rund um die Szene aufgenommen wurden - sowie die Kameraposition für jede dieser Aufnahmen. Bei einer Szene mit Menschen oder anderen sich bewegenden Elementen ist es umso besser, je schneller diese Aufnahmen gemacht werden. Wenn sich während der 2D-Bilderfassung zu viel bewegt, wird die von der KI erzeugte 3D-Szene unscharf.



NerF



Ein NeRF füllt dann die Lücken, indem es ein kleines neuronales Netz trainiert, das die Szene rekonstruiert, indem es die Farbe des Lichts vorhersagt, das von jedem Punkt im 3D-Raum in jede Richtung strahlt. Wenn Objekte, die in einigen Bildern zu sehen sind, durch Hindernisse wie Säulen in anderen Bildern verdeckt werden, kann die Technik diese Verdeckungen sogar herausrechnen.

Die Erstellung einer 3D-Szene mit herkömmlichen Methoden dauert Stunden oder länger, je nach Komplexität und Auflösung der Visualisierung. Frühe NeRF-Modelle renderten gestochen scharfe Szenen ohne Artefakte in wenigen Minuten, benötigten aber immer noch Stunden für das Training.

Instant NeRF hingegen verkürzt die Rendering-Zeit um mehrere Größenordnungen. Das Ergebnis soll die bislang schnellste NeRF-Technik sein, die in einigen Fällen eine mehr als 1.000-fache Beschleunigung erreicht. Das Modell benötigt nur wenige Sekunden, um mit ein paar Dutzend Fotos zu trainieren - allerdings benötigt es auch Daten zu den Kamerawinkeln, aus denen sie aufgenommen wurden. Anschließend kann es die resultierende 3D-Szene innerhalb von zehn Millisekunden rendern. Da es sich um ein leichtgewichtiges neuronales Netzwerk handelt, kann es auf einem einzigen NVIDIA-Grafikprozessor trainiert und ausgeführt werden.



Instant NeRF wurde diese Woche auf der NVIDIA GPU Technolgy Conference vorgestellt und könnte zur Erstellung von Avataren oder Szenen für virtuelle Welten, zur Erfassung von Videokonferenzteilnehmern und ihrer Umgebung in 3D oder zur Rekonstruktion von Szenen für digitale 3D-Karten verwendet werden. Damit passt diese Technologie natürlich sehr gut zum aktuellen Hype um die kommenden Metaversen.

Link mehr Informationen bei blogs.nvidia.com

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
MarcusG    08:55 am 29.3.2022
Was heißt denn "die Kamerastandpunkte müssen bekannt sein"? Kann man das als normaler Filmer umsetzen oder braucht man dafür komplizierte Tracking...weiterlesen
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildOscars 2022: "Coda" von Apple TV+ bester Film - Dune mit den meisten Einzeltiteln bildBlackmagic Design DaVinci Resolve Version 17.4.6 Update - u.a. mit Nikon RAW


verwandte Newsmeldungen:
3D:

Selbstgebaut: Die 35mm Filmkamera aus dem 3D-Drucker 20.Mai 2022
Vier neue, analoge 65-mm-IMAX Filmkameras in der Entwicklung 21.März 2022
Brillenloses 3D: Dimencos Simulated Reality soll überzeugen (ua. in Acer ConceptD Laptop) 19.Februar 2022
3D-Objekte ohne 3D-Scanner - Moves by Maxon in Cinema4D 14.Dezember 2021
Blackmagic: Neue Micro Converter 12G Modelle mit 3D-LUTs und 4K-Unterstützung 16.November 2021
Epic Games MetaHuman Creator: Realistische 3D-Modelle von Menschen per Klick 19.April 2021
Adobe After Effects 18.0 Update bringt Echtzeit-3D-Entwurfsvorschau und Multi-Frame Rendering 12.März 2021
alle Newsmeldungen zum Thema 3D

Computer:

AMD Ryzen 7000 und Mendocino - neue Prozessoren für Herbst angekündigt 23.Mai 2022
Razer Blade 15 OLED: Erstes Notebook mit 240 Hz OLED Display 9.Mai 2022
Erste Intel Arc GPUs - endlich Konkurrenz für AMD und NVIDIA? 31.März 2022
MSI: Neue CreatorPro Workstations mit neuer Nvidia RTX A5500 mit 16 GB 24.März 2022
Zahlreiche neue Workstation GPUs von Nvidia - u.a. RTX A5500 23.März 2022
Kostenloses Nvidia KI-Tool: Gesichter einfach per Sprache in Echtzeit animieren 14.März 2022
ThinkPad X1 Extreme Gen 5: Mobile 16" Workstation mit 3.840 x 2.400 Display und RTX 3080 Ti 14.März 2022
alle Newsmeldungen zum Thema Computer


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 23.Mai 2022 - 15:39
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*