[16:10 So,27.September 2020 [e] von Thomas Richter] |
Der neue Algorithmus eines Teams von Google-Forschern schafft Erstaunliches: er erstellt mithilfe eines neuronalen Netzwerks aus mehreren Photos einer Szenerie ein 3D-Modell. Neue Bilder der Szene werden daraufhin aus weiteren, vorher nicht vorhandenen Perspektiven synthetisiert und können dann per virtuellen Kamerafahrten erkundet werden. Demonstriert wird das sehr schön im folgenden Clip unter anderem am Beispiel des Brandenburger Tors und des Fontana di Trevi:
Virtuelle Kamerafahrt: Herausforderungen für den auf Neural Radiance Fields (NeRF) basierenden Algorithmus sind dabei die extrem unterschiedlichen Licht- und Wetterverhältnisse der verschiedenen Photos sowie andere dynamische Unterschiede zwischen den Aufnahmesituationen, wenn zum Beispiel Bildelemente wie etwa Autos, Menschen oder Schilder die Sicht auf andere Bildteile versperren. Davon muss abstrahiert werden, um ein 3D-Modell der statischen Objekte samt der herrschenden Lichtverhältnisse einer Szene zu erhalten. ;) Input-Photos mit unterschiedlichen Lichtverhältnissen Dieses ermöglicht sowohl Kameraschwenks als auch Zoomfahrten. Zusätzlich erlaubt das Modell es, den Look der neuen virtuellen Ansichten zu verändern, um zum Beispiel die besonderen Beleuchtungsverhältnisse einer bestimmten Lichtsituation (Mittags, Nachts mit Scheinwerfern,...) zu simulieren. ;) Generierter Output Schwierigkeiten hat die NeRF-W getaufte Methode naturgemäß mit den Teilen einer Szene, die nur auf wenigen Photos auftauchen, weil sie eher im Hintergrund liegen und nur aus bestimmten Perspektiven sichtbar sind. Das Training mittels 8 GPUs einer Szene mit mehreren hundert Photos dauerte ungefähr 2 Tage. Das Schöne an der neuen Methode ist, daß dazu beliebige (User-)Photos aus dem Netz verwendet werden können, welche von den verschiedensten Touristen mit ganz unterschiedlichen Kameras geschossen wurden. ;) NeRF-W Algorithmus Der folgende "2 Minute Papoers"-Clip demonstriert sehr schön die großen Fortschritte, welche die neue Methode innerhalb nur weniger Monate gegenüber dem  Vorgängermodell erreicht hat: Wir erinnern uns an einen noch sehr viel älteren Vorläufer von 2007, Microsofts Photosynth, welches mittels einer ganze anderen Methode als NeRF-W aus Photos 3D-Modell der Photos im Raum, erzeugen konnte.  mehr Informationen bei nerf-w.github.io |
 |
|
|
Laowa 14mm f/4 FF RL Zero-D - leichtes Ultraweitwinkel-Objektiv
Cine-Optik speziell für S35: Meike Prime 35mm T2.1
