Apples KI-Team hat eine neue Methode namens FaceLit veröffentlicht, die ausgehend von einem Portraitfoto neue Ansichten des Gesichtes erzeugen kann bei beliebig veränderter Lichtsituation. Es läßt sich also nachträglich die Ausleuchtung ändern, d.h. es kann eine virtuelle Lichtquelle frei positioniert werden, welche Licht auf das Gesicht fallen läßt. Möglich wird dies, indem anhand eines ganz normalen Fotos ein 3D-Modell erzeugt und genutzt wird.
Anders als schon vorhandene ähnliche Algorithmen, kann FaceLit mit normalen Portraitfotografien arbeiten - es werden weder speziell beleuchteten Aufnahmen benötigt, noch Daten zur Kameraausrichtung. Eine weitere manuelle Nachbearbeitung ist ebenfalls nicht nötig.
FaceLit berücksichtigt sowohl die spezifische Form als auch die Materialität eines Gesichts um fotorealistische Portraits zu erzeugen, die sowohl korrekt in Bezug auf Beleuchtung und 3D-Ansicht sind. FaceLit funktioniert mit Fotos echter Personen ebenso wie mit z.B. klassischen gemalten Porträts wie im folgenden Beispiel:
// Top-News auf einen Blick:
- Affinity Photo, Designer und Publisher ab sofort in einer kostenlosen App
- DJI Neo 2 bringt Rundum-Hinderniserkennung samt LiDAR
- Künftige Xbox Next: Vollwertiger Windows-PC mit Potenzial für Videobearbeitung
- LG UltraFine 40U990A-W - 40 5K2K Monitor mit Thunderbolt 5
- Neue Firmware für Panasonic LUMIX S5 II, S5 IIX, S9, GH7 und G9 II
Der Code von FaceLit steht auf GitHub zum Download bereit, die Forschungsarbeit findet sich hier. Wir hatten früher bereits über eine auf der Siggraph 2019 veröffentlichte Forschungsarbeit berichtet, welche per neuronalem Netz die Beleuchtung von Gesichtern auf Fotos nachträglich ändern konnte.
Blackmagic hat eine ähnliche Funktion in das neue DaVinci Resolve 18.5 integriert. Der KI-Effekt Relight FX ermöglicht es dort, Szenen mit virtuellen Lichtquellen nachträglich zu beleuchten. Er arbeitet allerdings mit vollständigen Videos und produziert keine neuen perspektivischen Ansichten.
Es wird interessant sein zu sehen, zu welchem Zweck Apple FaceLit entwickelt - denkbar wäre eine Integration in die Kamera- oder Foto-App, die es dann ermöglichen würde, Portraitaufnahmen nachträglich zu optimieren. Die nächste Entwicklungsstufe wäre dann eine ähnliche KI für die Manipulation von Gesichtern in Videos.
