Um trotz schlechter Lichtverhältnisse noch erkennbare Videos aufzunehmen, wird die Verstärkung (Gain) erhöht - so wird jedes Pixel lichtempfindlicher. Allerdings wird so auch das Rauschen in jedem Bild verstärkt: je heller das Bild per Gain gemacht wird, desto mehr rauscht es auch. Mit besonders empfindlichen CMOS-Kameras ist es derzeit möglich, auch nachts nur bei Mondlicht (d.h. einer Beleuchtungsstärke von nur 0.05-0.3 Lux) Videos aufzunehmen, diese sind jedoch relativ verrauscht.
Ein Team der Intel Labs und der University of California Berkeley hat jetzt in einer neuen Forschungsarbeit mit dem schönen Titel "Tanzen unter den Sternen: Video-Entrauschung bei Sternenlicht" eine neue KI-Methode zur Rauschunterdrückung von Videos vorgestellt, die bei extrem schwacher Beleuchtung von Bruchteilen eines Lux aufgenommen wurden.
Demonstriert wird die neue Deep-Learning Entrauschungsmethode anhand von 5-10 fps Videoaufnahmen mit einer RGB plus NIR (Nahes Infrarotlicht) Spezialkamera, welche nur mithilfe von Sternenlicht bei 0.6 Millilux beleuchtet wurden. Das Endergebnis sind fotorealistische Aufnahmen quasi ohne Bildrauschen und andere sonst bei schlechten Lichtverhältnissen auftretende Bildfehler. Der Algorithmus wurde mit mehreren anspruchsvollen Szenen mit viel Bewegung getestet, in denen Personen nur durch das Licht der Milchstraße beleuchtet tanzen, während ein Meteoritenschauer von oben herabregnet.
Der neue Algorithmus wurde anhand von Videomaterial, welches mittels einer speziellen Methode künstlich verrauscht wurde, sowie natürlich verrauschtem Video trainiert. Durch die künstlich verrauschten Videos wurde automatisch Referenzmaterial produziert, anhand dessen eingeschätzt werden konnte, wie gut die Entrauschung funktioniert und darauf aufbauend auch verbessert werden konnte.
Auch im Vergleich mit anderen Methoden schneidet der neue Algorithmus sehr gut ab:
Eingesetzter Sensor
Verwendet wurde der extrem lichtstarke Canon LI3030 SAI RGB-NIR Sensor mit einer Auflösung von 2.160 x 1.280 19µm großen Pixeln, analogem 16-Kanal Ausgang und erhöhter Quanteneffizienz im Nahen Infrarotbereichg (NIR). Dieser nutzt ein Bayer-Muster, das aus roten, grünen, blauen (RGB) und NIR-Kanälen (800-950nm) besteht. Jeder RGB-Kanal hat eine zusätzliche Durchlässigkeitsspitze, die sich mit dem NIR-Kanal überlappt, um den Lichtdurchsatz bei Nacht zu erhöhen. Unter Tageslicht kann der NIR-Kanal von jedem RGB-Kanal subtrahiert werden.
Beschränkungen
Die von den Forschern gewählte Methode hat allerdings auch ihre Grenzen. Erstens ahmt der zum Training verwendete Rauschgenerator momentan nur eine einzige Verstärkungseinstellung nach (in diesem Fall die höchste Verstärkung). Außerdem sind die Farben der entrauschten Nachtvideos eher stumpf, da ein großer Bildanteil aus dem monochromen nahen Infrarot Spektralbereich stammt. Durch spezielle DeepLearning-Methoden könnten die Bilder allerdings in Zukunft korrekt eingefärbt werden.
