' KI generiert virtuelle Kamerafahrten aus Photos
Logo Logo
/// News

KI generiert virtuelle Kamerafahrten aus Photos

[16:10 So,27.September 2020 [e]  von ]    

Der neue Algorithmus eines Teams von Google-Forschern schafft Erstaunliches: er erstellt mithilfe eines neuronalen Netzwerks aus mehreren Photos einer Szenerie ein 3D-Modell. Neue Bilder der Szene werden daraufhin aus weiteren, vorher nicht vorhandenen Perspektiven synthetisiert und können dann per virtuellen Kamerafahrten erkundet werden. Demonstriert wird das sehr schön im folgenden Clip unter anderem am Beispiel des Brandenburger Tors und des Fontana di Trevi:





Virtuelle Kamerafahrt:


Herausforderungen für den auf Neural Radiance Fields (NeRF) basierenden Algorithmus sind dabei die extrem unterschiedlichen Licht- und Wetterverhältnisse der verschiedenen Photos sowie andere dynamische Unterschiede zwischen den Aufnahmesituationen, wenn zum Beispiel Bildelemente wie etwa Autos, Menschen oder Schilder die Sicht auf andere Bildteile versperren. Davon muss abstrahiert werden, um ein 3D-Modell der statischen Objekte samt der herrschenden Lichtverhältnisse einer Szene zu erhalten.

BrandenburgerTor-Input
Input-Photos mit unterschiedlichen Lichtverhältnissen


Dieses ermöglicht sowohl Kameraschwenks als auch Zoomfahrten. Zusätzlich erlaubt das Modell es, den Look der neuen virtuellen Ansichten zu verändern, um zum Beispiel die besonderen Beleuchtungsverhältnisse einer bestimmten Lichtsituation (Mittags, Nachts mit Scheinwerfern,...) zu simulieren.

Trevi-Output
Generierter Output


Schwierigkeiten hat die NeRF-W getaufte Methode naturgemäß mit den Teilen einer Szene, die nur auf wenigen Photos auftauchen, weil sie eher im Hintergrund liegen und nur aus bestimmten Perspektiven sichtbar sind.

Das Training mittels 8 GPUs einer Szene mit mehreren hundert Photos dauerte ungefähr 2 Tage. Das Schöne an der neuen Methode ist, daß dazu beliebige (User-)Photos aus dem Netz verwendet werden können, welche von den verschiedensten Touristen mit ganz unterschiedlichen Kameras geschossen wurden.

NN
NeRF-W Algorithmus


Der folgende "2 Minute Papoers"-Clip demonstriert sehr schön die großen Fortschritte, welche die neue Methode innerhalb nur weniger Monate gegenüber dem Vorgängermodell erreicht hat:



Wir erinnern uns an einen noch sehr viel älteren Vorläufer von 2007, Microsofts Photosynth, welches mittels einer ganze anderen Methode als NeRF-W aus Photos 3D-Modell der Photos im Raum, erzeugen konnte.

Link mehr Informationen bei nerf-w.github.io

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Darth Schneider    15:12 am 30.9.2020
Die ganze Welt mit wirklich allem darin würde ganz schön viel Speicher benötigen ;-)
sascha_kvfs    14:46 am 30.9.2020
Man könnte quasi die gesamte Welt virtuell nachbauen, wenn man Zugriff auf aktuelle Fotos bekommt z.B. iCloud etc. Google müsste nicht mehr mit seinen Autos durch die Gegend...weiterlesen
Franky3000    17:11 am 27.9.2020
Als Anwendungsfall fallen mir die Kulturstätten ein die der IS in Syrien zerstört hat. So könnte man zumindest 3D Modelle generieren und für die Nachwelt erhalten (wenn es...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildLaowa 14mm f/4 FF RL Zero-D - leichtes Ultraweitwinkel-Objektiv bildCine-Optik speziell für S35: Meike Prime 35mm T2.1


verwandte Newsmeldungen:
KI:

KI-Videogenerator der zweiten Generation - Runway Gen-2 Zugang jetzt offen 8.Juni 2023
Packaging-Kapazitäten ausgebucht - Befeuert KI die nächste GPU-Verknappung? 7.Juni 2023
Die Paragraphica KI-Kamera ist da: Bilder ohne Objektiv von der Umgebung durch KI aufnehmen? 5.Juni 2023
Generative KI: Googles StyleDrop lernt und imitiert Stil nach einem einzigen Bild 5.Juni 2023
AMDs neue Adrenalin Treiber 23.5.1 verdoppeln Rechenleistung in Stable Diffusion 3.Juni 2023
KI-Drohne des US Militärs tötet Operator, um effektiver töten zu können - in Simulation 2.Juni 2023
Japan und Israel mit liberalen Copyright Positionen beim KI-Training 2.Juni 2023
alle Newsmeldungen zum Thema KI


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Juni - Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 9.Juni 2023 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*