In der Dunkelheit farbig sehen: KI gibt schwarz-weißen Infrarotbildern die Farbe zurück

Lichtempfindliche Kamerasensoren, die auch in sehr dunklen Verhältnissen Bilder aufnehmen können, nutzen meist auch das nahe Infrarotspektrum (NIR). Ebenso können spezielle Nachtsichtsysteme Infrarotlicht erkennen und es in für den Menschen wahrnehmbare Bilder umwandeln. Die so aufgenommenen Bilder leiden jedoch darunter, daß sie - ähnlich wie das menschliche Auge bei Nacht - nicht mehr die ursprünglichen Farben darstellen, sondern nurmehr in ihrer Helligkeit unterschiedene Bildpunkte. Deswegen haben Wissenschaftler der Universität von Kalifornien jetzt einen DeepLearning-Algorithmus entwickelt, mit dessen Hilfe sich sogar bei vollkommener Dunkelheit (plus Infrarotlicht) aufgenommene monochromatischen Bilder einer Infrarotkamera in farbige Fotos verwandeln lassen.

Der neue Bildgebungsalgorithmus, der auf optimierten Deep-Learning-Architekturen basiert, kann das Infrarotbild einer Szene dazu nutzen, um die Darstellung der Szene im sichtbaren Spektrum vorherzusagen und sie so wiederzugeben. So könnte eine Szene farbig wiedergegeben werden, selbst wenn sie in völliger Dunkelheit liegt und nur mit Infrarotlicht beleuchtet wird.

Zu diesem Zweck haben die Forscher mit einer monochromatischen Kamera, die für sichtbares und nahes Infrarotlicht empfindlich ist, einen Bilddatensatz gedruckter Bilder von Gesichtern unter multispektraler Beleuchtung aufgenommen, die sowohl die sichtbaren Standardwellenlängen Rot (604 nm), Grün (529 nm) und Blau (447 nm) als auch Infrarot (mit 718, 777 und 807 nm) umfasst. Anschließend wurde ein neuronales Netz trainiert, um Bilder des sichtbaren Spektrums nur aus Bildern des nahen Infrarots vorherzusagen.

Der neue Algorithmus war tatsächlich in der Lage, Bilder des sichtbaren Spektrums nur aus Informationen des nahen Infrarots vorherzusagen. Allerdings wurde das neuronale Netz im Rahmen der Forschungsarbeit nur mit menschlichen Gesichtern trainiert. Um auch Szenen mit anderen Objekten korrekt farbig darstellen zu können, müssten solche Szenen in Zukunft noch entsprechend trainiert werden. Dann wäre diese Methode eine perfekte Ergänzung zum Beispiel für die von uns kürzlich vorstellte neue KI-Methode, welche aus Videos, die bei extrem schwacher Beleuchtung von Bruchteilen eines Lux aufgenommen wurden, das Bildrauschen nahezu vollständig entfernen zu vermag.