Sea-thru: Fade Unterwasseraufnahmen bekommen echte Farben durch neuen Algorithmus

Ohne künstliches Licht erscheinen selbst die farbprächtigsten Fische und Korallenriffe auf Unterwasser-Photos meist nur grün-/blaustichtig und fade farblos. Die Ursache liegt darin begründet, daß Wasser manche Wellenlängen des sichtbaren Lichts wie Rot und Gelb stärker als andere streut und absorbiert, was in verwaschenen Farben resultiert. Zusätzlich verfälschen im Wasser schwebenden Partikeln das Bild.

Da eine echte Farbdarstellung aber für die Korallenforschung wichtig wäre, um per neuronalen Netzen auf Millionen von Photos Korallen automatisch zuverlässig zu erkennen, zu klassifizieren und zu zählen, hat die Ingenieurin und Ozeanographen Derya Akkaynak in vierjähriger Arbeit einen neuen Algorithmus namens Sea-thru entwickelt, der die typischen visuellen Entfärbungen von Unterwasserphotos beseitigt und sie in vollem natürlichen Farbumfang darstellt (was schön auf den beiden Beispielbildern hier demonstriert wird).

Die Bildanalyse von Sea-thru berücksichtigt die andere Physik der Lichtabsorption und -streuung in der Atmosphäre, verglichen mit der im Ozean, wo die Partikel, mit denen das Licht auf der Strecke zum Auge (oder Bildsensor) interagiert, sehr viel größer sind. Dann entfernt das Programm die typischen Farbverschiebungen der Unterwasserbilder Pixel für Pixel und stellt verlorenen Farben wieder her.

Der Algorithmus unterscheidet sich von simplen Rot/Gelb-Farbkorrekturen in Bildbearbeitungsprogrammen, mit denen Anwender Unterwasserbilder künstlich verbessern können, durch ein intelligenteres Verfahren, welches die Strecke berücksichtigt, die das Licht durchs Wasser zurücklegen muss, und kann so zuverlässiger die einzelnen absorbierten Farbanteile physikalisch korrekt wiederherstellen und die echten Farben darstellen. Einfache Farbkorrekturen versagen bei Objekten, die unterschiedliche Distanzen zur Kamera aufweisen.

Der Algorithmus benötigt allerdings, um zu funktionieren, Informationen über die Entfernung der verschiedenen Objekte auf dem Bild, um zuverlässig die farbverändernde Wirkung des Wasser herausrechnen zu können. Das Programm kann aber mehrere Photos desselben Gegenstands aus verschiedenen Blickwinkeln (oder zwei Stereobilder) dazu benutzen, die Entfernung für die weitere Bearbeitung erfolgreich abzuschätzen (viele wissenschaftliche UW-Bilddatensätze enthalten eh schon per Photogrammetrie ermittelte Entfernungsdaten).

Derya Akkaynak will den "Sea-Thu"-Algorithmus für nicht-kommerzielle Anwendungen bald öffentlich machen. Es ist wohl auch nur noch eine Frage der Zeit, bis er auch in herkömmliche Bildbearbeitungsprogrammen integriert ist - er soll auch noch mittels Deep Learning weiter verbessert werden. Und er wird hoffentlich bald auch für Unterwasser-Videos adaptiert und optimiert, welche den Vorteil hätten, das dann oft auch genügend Bilder für die automatische Entfernungsschätzung zur Verfügung ständen. Der Algorithmus benötigt allerdings RAW-Videos/Bilder, um optimal zu funktionieren. Die Photos, anhand denen der Algorithmus entwickelt wurde, stammen übrigens von Consumer-Kameras wie der Sony A7R Mk III und Nikon D810 - das Colorchart im Photo ist nur zur nachträglichen Referenz und nicht notwendig für die Arbeit des Algorithmus.

Noch besser arbeitet der Algorithmus, wenn er Daten über die herrschenden optischen Eigenschaften des Wassers hat, was testweise schon mittels Ozean-Farbsatellitenbildern realisiert wurde, mit deren Hilfe dann die aktuelle Lichtdämpfung in der Wassersäule ermittelt werden konnte - eventuell könnten in Zukunft aber auch hier Deep Learning Algorithmen die genaue Kalibrierung vereinfachen.

Hier findet sich die zugehörige wissenschaftliche Arbeit ("Sea-Thru: A Method for Removing Water From Underwater Images") von Derya Akkaynak .