Virtuelle Lichtquellen Google LightLab leuchtet Fotos nachträglich per KI aus

Forscher von Google und mehrerer israelischer Universitäten haben ein neues Verfahren vorgestellt, um Fotos nachträglich neu auszuleuchten. Die auf Diffusionsmodellen basierende Methode ermöglicht die präzise Kontrolle von Lichtquellen in Bildern, ohne eine aufwendige 3D-Rekonstruktion oder Multi-View-Daten zu benötigen.

LightLab erlaubt sowohl die stufenweise Anpassung der Intensität und Farbe von im Foto sichtbaren Lichtquellen, als auch die Kontrolle des Umgebungslichts und sogar das Einfügen virtueller Punktlichtquellen in eine Szene. Auf der Projektseite findet sich neben vielen Beispielen auch eine interaktive Demo, anhand derer man selbst den LightLab-Algorithmus ausprobieren kann.

Kerninnovation von LightLab ist der Einsatz von Diffusionsmodellen zur realistischen Veränderung von Lichtsituationen innerhalb eines einzelnen Bildes. Dabei nutzt LightLab das "photorealistische Vorwissen" der Diffusionsmodelle, um komplexe Lichtphänomene wie indirekte Beleuchtung, Schattenwurf oder Spiegelungen realitätsnah zu simulieren - und das direkt im Bildraum. Die Grundlage dafür bilden Trainingsdaten, die aus wenigen real aufgenommenen Fotopaaren sowie einer umfangreichen Sammlung synthetischer Renderings bestehen. Diese Kombination ermöglicht eine gezielte Disentanglement-Strategie, bei der einzelne Lichtquellen isoliert und dann separat manipuliert werden können.

Im Unterschied zu klassischen Relighting-Methoden, die meist auf inverse Renderingverfahren mit mehreren Kameraansichten setzen, verzichtet LightLab auf geometrische Rekonstruktion oder physikalisch exakte Modelle. Stattdessen greift die Methode auf parametrische Steuerung in linearem Farbraum zurück. Dabei werden Lichtkomponenten skaliert und in Sequenzen kombiniert, um eine kontrollierte Veränderung der Beleuchtung zu erzielen – etwa durch sogenannte "Lightswitch"-Funktionen oder Farbanpassung per benutzerdefinierter Steuerung.

Interessant ist auch die Möglichkeit, virtuelle Lichtquellen einzufügen, selbst wenn keine geometrische Szeneninformation vorliegt. Dieses Feature basiert auf dem Wissenstransfer aus synthetischen 3D-Daten und zeigt das Potenzial von Deep-Learning-Methoden, physikalisch plausible Ergebnisse allein aus Bilddaten zu generieren.

Bisher ist zu dem Verfahren nur die Studie veröffentlicht. Wenn LightLab in Zukunft allerdings als Code vorliegen wird, dann gäbe es zahlreiche Anwendungsmöglichkeiten dafür in der Fotografie und Postproduktion für visuelle Effekte, auch bei Video. Mit einer LightLab-App könnten auch Laien ohne tiefes technisches Wissen komplexe Lichtverhältnisse manipulieren – ein Aspekt, der etwa im Bereich von mobilen Bildbearbeitungs-Apps oder KI-gestützter Kreativsoftware interessant werden dürfte.

Wer lernen will, wie man Szenen effektvoll beleuchtet, kann das mit Hilfe eines anderen Tools von Google tun, das schon öffentlich zugänglich ist. Google bietet online nämlich den interaktiven Lichtworkshop "Learning Light" an, in welchem man interaktiv mittels eines 3D-Modells verschiedene Lichtszenerien ausprobieren und mit den Parametern der einzelnen Lichter spielen kann.