Apples KI-Team hat eine neue Methode namens FaceLit veröffentlicht, die ausgehend von einem Portraitfoto neue Ansichten des Gesichtes erzeugen kann bei beliebig veränderter Lichtsituation. Es läßt sich also nachträglich die Ausleuchtung ändern, d.h. es kann eine virtuelle Lichtquelle frei positioniert werden, welche Licht auf das Gesicht fallen läßt. Möglich wird dies, indem anhand eines ganz normalen Fotos ein 3D-Modell erzeugt und genutzt wird.
Anders als schon vorhandene ähnliche Algorithmen, kann FaceLit mit normalen Portraitfotografien arbeiten - es werden weder speziell beleuchteten Aufnahmen benötigt, noch Daten zur Kameraausrichtung. Eine weitere manuelle Nachbearbeitung ist ebenfalls nicht nötig.
FaceLit berücksichtigt sowohl die spezifische Form als auch die Materialität eines Gesichts um fotorealistische Portraits zu erzeugen, die sowohl korrekt in Bezug auf Beleuchtung und 3D-Ansicht sind. FaceLit funktioniert mit Fotos echter Personen ebenso wie mit z.B. klassischen gemalten Porträts wie im folgenden Beispiel:
// Top-News auf einen Blick:
- Sony A7R VI vorgestellt mit 66,8MP, Dual Gain und bis zu 120min 8K-Videoaufnahme
- Canon stellt EOS R6 V und RF 20-50mm F4 als PowerZoom-Kombination vor
- Panasonic Lumix L10 - Kompaktkamera mit GH7-Sensor und V-Log vorgestellt
- ZineControl - Monitoring und Fernsteuerung per App für die Nikon ZR
- Insta360 Luna Ultra mit dualer 8K-Kamera und abnehmbarem Display geleakt
- DJI Osmo Pocket 4P mit Dual-Kamera und 3x Zoom kommt am 14. Mai - nach Cannes
Der Code von FaceLit steht auf GitHub zum Download bereit, die Forschungsarbeit findet sich hier. Wir hatten früher bereits über eine auf der Siggraph 2019 veröffentlichte Forschungsarbeit berichtet, welche per neuronalem Netz die Beleuchtung von Gesichtern auf Fotos nachträglich ändern konnte.
Blackmagic hat eine ähnliche Funktion in das neue DaVinci Resolve 18.5 integriert. Der KI-Effekt Relight FX ermöglicht es dort, Szenen mit virtuellen Lichtquellen nachträglich zu beleuchten. Er arbeitet allerdings mit vollständigen Videos und produziert keine neuen perspektivischen Ansichten.
Es wird interessant sein zu sehen, zu welchem Zweck Apple FaceLit entwickelt - denkbar wäre eine Integration in die Kamera- oder Foto-App, die es dann ermöglichen würde, Portraitaufnahmen nachträglich zu optimieren. Die nächste Entwicklungsstufe wäre dann eine ähnliche KI für die Manipulation von Gesichtern in Videos.
