Die Lichtsetzung von Porträtphotos nachträglich ändern // Siggraph 2019

[09:36 Fr,14.Juni 2019 [e] von Thomas Richter]

Auch dieses Mal wurden auf der Siggraph 2019 wieder eine Vielzahl extrem interessanter Projekte vorgestellt - viele davon bieten praktische neue Lösungen im Bereich digitaler Videobearbeitung sowie Animation/Simulation, wie etwa die virtuelle Neubeleuchtung von Portätphotos und Bauwerken oder das Entzerren von Weitwinkelportraits.

Die überwiegende Anzahl aller Projekte nutzt neuronale Netze, welche erst mit entsprechenden Daten (Bildern) trainiert werden, um dann anhand dieser Erfahrungen relativ gute Annahmen zu treffen über noch unbekannte Objekte, die sich aber ähnlich verhalten wie die bereits gelernten. Wir werden in den nächsten Tagen mehrere der relevantesten Projekte vorstellen. Wie immer gilt für Siggraph-Projekte, daß es sich um Forschungsarbeiten handelt, welche neue Wege aufzeigen - zur täglichen Anwendung in Zukunft müssen sie aber erst in die Form von Programmen/Plugins o.ä. gegossen werden.

Links Original - rechts das neu beleuchtete Portrait

Eines der interessantesten diesjährigen Siggraph Projekte ist wohl die nachträgliche Änderung der Beleuchtung von Porträtphotos aka "Single Image Portrait Relighting". Die exakte Ausleuchtung eines Gesichts mittels totaler Kontrolle der Belichtungssituation ist normalerweise semi-/professionellen Photographen vorbehalten - dieser Algorithmus ermöglicht jetzt die nachträgliche Änderung der Lichtsetzung samt deren Effekte wie glänzender Stellen und Schattenwurf auf ein Gesicht bei ganz normales Portraitphotos.

Der Algorithmus kann ein 640x640 großes Bild mit neuer Beleuchtung in nur 160 Millisekunden berechnen, es wären also in Zukunft mittels eines interaktiven Tools auch eine Vorschau in Echtzeit möglich, in der das Licht zum Beispiel eines Selfies virtuell neu gesetzt wird. Es reicht im Gegensatz zu früheren Ansätzen ein einziges Bild aus, zudem wird keine spezialisierte Hardware genutzt - es reicht das Bild einer normalen Handykamera.

Die Methode basiert auf einem neuronalen Netz das anhand eines kleinen Datensatz von 18 Personen, die unter verschiedenen gerichteten Lichtquellen in einem kontrollierten Lichtstufenaufbau erfaßt wurden, trainiert wurde. Anhand dieser gelernten Bilder überträgt das neuronale Netz dann die gewünschte Lichtsituation auf ein neues Gesicht. Wir überzeugend das Ergebnis ist, könnt ihr anhand des Demovideos selbst beurteilen.

mehr Informationen bei arxiv.org

Zur Übersicht aller unserer News zur Siggraph 2019

[noch keine Leserkommentare] [Kommentar schreiben]