Logo
/// News

KI generiert virtuelle Kamerafahrten aus Photos

[16:10 So,27.September 2020 [e]  von ]    

Der neue Algorithmus eines Teams von Google-Forschern schafft Erstaunliches: er erstellt mithilfe eines neuronalen Netzwerks aus mehreren Photos einer Szenerie ein 3D-Modell. Neue Bilder der Szene werden daraufhin aus weiteren, vorher nicht vorhandenen Perspektiven synthetisiert und können dann per virtuellen Kamerafahrten erkundet werden. Demonstriert wird das sehr schön im folgenden Clip unter anderem am Beispiel des Brandenburger Tors und des Fontana di Trevi:





Virtuelle Kamerafahrt:


Herausforderungen für den auf Neural Radiance Fields (NeRF) basierenden Algorithmus sind dabei die extrem unterschiedlichen Licht- und Wetterverhältnisse der verschiedenen Photos sowie andere dynamische Unterschiede zwischen den Aufnahmesituationen, wenn zum Beispiel Bildelemente wie etwa Autos, Menschen oder Schilder die Sicht auf andere Bildteile versperren. Davon muss abstrahiert werden, um ein 3D-Modell der statischen Objekte samt der herrschenden Lichtverhältnisse einer Szene zu erhalten.

BrandenburgerTor-Input
Input-Photos mit unterschiedlichen Lichtverhältnissen


Dieses ermöglicht sowohl Kameraschwenks als auch Zoomfahrten. Zusätzlich erlaubt das Modell es, den Look der neuen virtuellen Ansichten zu verändern, um zum Beispiel die besonderen Beleuchtungsverhältnisse einer bestimmten Lichtsituation (Mittags, Nachts mit Scheinwerfern,...) zu simulieren.

Trevi-Output
Generierter Output


Schwierigkeiten hat die NeRF-W getaufte Methode naturgemäß mit den Teilen einer Szene, die nur auf wenigen Photos auftauchen, weil sie eher im Hintergrund liegen und nur aus bestimmten Perspektiven sichtbar sind.

Das Training mittels 8 GPUs einer Szene mit mehreren hundert Photos dauerte ungefähr 2 Tage. Das Schöne an der neuen Methode ist, daß dazu beliebige (User-)Photos aus dem Netz verwendet werden können, welche von den verschiedensten Touristen mit ganz unterschiedlichen Kameras geschossen wurden.

NN
NeRF-W Algorithmus


Der folgende "2 Minute Papoers"-Clip demonstriert sehr schön die großen Fortschritte, welche die neue Methode innerhalb nur weniger Monate gegenüber dem Vorgängermodell erreicht hat:



Wir erinnern uns an einen noch sehr viel älteren Vorläufer von 2007, Microsofts Photosynth, welches mittels einer ganze anderen Methode als NeRF-W aus Photos 3D-Modell der Photos im Raum, erzeugen konnte.

Link mehr Informationen bei nerf-w.github.io

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Darth Schneider    15:12 am 30.9.2020
Die ganze Welt mit wirklich allem darin würde ganz schön viel Speicher benötigen ;-)
sascha_kvfs    14:46 am 30.9.2020
Man könnte quasi die gesamte Welt virtuell nachbauen, wenn man Zugriff auf aktuelle Fotos bekommt z.B. iCloud etc. Google müsste nicht mehr mit seinen Autos durch die Gegend...weiterlesen
Franky3000    17:11 am 27.9.2020
Als Anwendungsfall fallen mir die Kulturstätten ein die der IS in Syrien zerstört hat. So könnte man zumindest 3D Modelle generieren und für die Nachwelt erhalten (wenn es...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildLaowa 14mm f/4 FF RL Zero-D - leichtes Ultraweitwinkel-Objektiv bildCine-Optik speziell für S35: Meike Prime 35mm T2.1


verwandte Newsmeldungen:


[nach oben]

















passende Forenbeiträge zur News:

Archive

2020

Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
15. August - 15. November / Düsseldorf
upfront! young european video award
30-31. Oktober / Espelkamp
Filmfestival SPITZiale
6-8. November / Freyung
Kurzfilmfest Dreiländereck
27. November / Bielefeld
31. Bilderbeben zum Thema „Abschied“
alle Termine und Einreichfristen


update am 20.Oktober 2020 - 08:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*