Logo Logo
/// News

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt

[12:44 Mo,16.Mai 2022 [e]  von ]    

Um trotz schlechter Lichtverhältnisse noch erkennbare Videos aufzunehmen, wird die Verstärkung (Gain) erhöht - so wird jedes Pixel lichtempfindlicher. Allerdings wird so auch das Rauschen in jedem Bild verstärkt: je heller das Bild per Gain gemacht wird, desto mehr rauscht es auch. Mit besonders empfindlichen CMOS-Kameras ist es derzeit möglich, auch nachts nur bei Mondlicht (d.h. einer Beleuchtungsstärke von nur 0.05-0.3 Lux) Videos aufzunehmen, diese sind jedoch relativ verrauscht.

Denoise-Photos




Ein Team der Intel Labs und der University of California Berkeley hat jetzt in einer neuen Forschungsarbeit mit dem schönen Titel "Tanzen unter den Sternen: Video-Entrauschung bei Sternenlicht" eine neue KI-Methode zur Rauschunterdrückung von Videos vorgestellt, die bei extrem schwacher Beleuchtung von Bruchteilen eines Lux aufgenommen wurden.

Noise-Generator


Demonstriert wird die neue Deep-Learning Entrauschungsmethode anhand von 5-10 fps Videoaufnahmen mit einer RGB plus NIR (Nahes Infrarotlicht) Spezialkamera, welche nur mithilfe von Sternenlicht bei 0.6 Millilux beleuchtet wurden. Das Endergebnis sind fotorealistische Aufnahmen quasi ohne Bildrauschen und andere sonst bei schlechten Lichtverhältnissen auftretende Bildfehler. Der Algorithmus wurde mit mehreren anspruchsvollen Szenen mit viel Bewegung getestet, in denen Personen nur durch das Licht der Milchstraße beleuchtet tanzen, während ein Meteoritenschauer von oben herabregnet.



Der neue Algorithmus wurde anhand von Videomaterial, welches mittels einer speziellen Methode künstlich verrauscht wurde, sowie natürlich verrauschtem Video trainiert. Durch die künstlich verrauschten Videos wurde automatisch Referenzmaterial produziert, anhand dessen eingeschätzt werden konnte, wie gut die Entrauschung funktioniert und darauf aufbauend auch verbessert werden konnte.

Denoized


Auch im Vergleich mit anderen Methoden schneidet der neue Algorithmus sehr gut ab:


Eingesetzter Sensor


Verwendet wurde der extrem lichtstarke Canon LI3030 SAI RGB-NIR Sensor mit einer Auflösung von 2.160 x 1.280 19µm großen Pixeln, analogem 16-Kanal Ausgang und erhöhter Quanteneffizienz im Nahen Infrarotbereichg (NIR). Dieser nutzt ein Bayer-Muster, das aus roten, grünen, blauen (RGB) und NIR-Kanälen (800-950nm) besteht. Jeder RGB-Kanal hat eine zusätzliche Durchlässigkeitsspitze, die sich mit dem NIR-Kanal überlappt, um den Lichtdurchsatz bei Nacht zu erhöhen. Unter Tageslicht kann der NIR-Kanal von jedem RGB-Kanal subtrahiert werden.



Beschränkungen


Die von den Forschern gewählte Methode hat allerdings auch ihre Grenzen. Erstens ahmt der zum Training verwendete Rauschgenerator momentan nur eine einzige Verstärkungseinstellung nach (in diesem Fall die höchste Verstärkung). Außerdem sind die Farben der entrauschten Nachtvideos eher stumpf, da ein großer Bildanteil aus dem monochromen nahen Infrarot Spektralbereich stammt. Durch spezielle DeepLearning-Methoden könnten die Bilder allerdings in Zukunft korrekt eingefärbt werden.

Link mehr Informationen bei kristinamonakhova.com

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildSanDisk Professional Pro-Blade: Modulares SSD Speichersystem für Kameras mit USB-C Aufnahme bildNeue SanDisk Extreme Pro microSD und SD UHS-I Karten: Die schnellsten der Welt


verwandte Newsmeldungen:
Machine Learning:

KI revolutioniert die Photographie: Objektbasiertes Editing mit Hilfe von DALL-E 2 30.Juni 2022
DaVinci Resolve 18 Beta 5 bringt KI-Stabilizer für Gyro-Metadaten und 10 Bit Vorschau 25.Juni 2022
In der Dunkelheit farbig sehen: KI gibt schwarz-weißen Infrarotbildern die Farbe zurück 22.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
alle Newsmeldungen zum Thema Machine Learning

Licht:

Zhiyun Weebill 3: Einhand-Gimbal für DSLRs und DSLMs jetzt mit integriertem Licht und Mikro 16.Juni 2022
Rotolight SmartSoft Box: elektronischer Diffuseraufsatz als praktische Alternative zu Gels 29.Mai 2022
Litepanels Gemini 2×1 Hard LED Panel: Das hellste LED Panel mit 23.000 Lux 18.Mai 2022
Aputure stellt LS600d Hochleistungs-LED vor - etwas einfacher und günstiger 18.April 2022
LiteGear Auroris: flexible Softbox für große Flächen vorgestellt 30.März 2022
Zhiyun Crane-M2 S: Einhand Gimbal mit eigenem Licht für kompakte Kameras und Smartphones 10.März 2022
Canon EOS C70 filmt bald auch in Cinema RAW Light 19.Januar 2022
alle Newsmeldungen zum Thema Licht

Beleuchtung:

Zhiyun Weebill 3: Einhand-Gimbal für DSLRs und DSLMs jetzt mit integriertem Licht und Mikro 16.Juni 2022
Sumolight Sumolaser: Ein Laser-Spotlight so hell wie ein 18-kW-HMI Scheinwerfer 11.Juni 2022
Prolycht Orion 675 FS: leistungsstärkster Vollspektrum LED-Scheinwerfer der Welt? 29.April 2022
Zhiyun Crane-M2 S: Einhand Gimbal mit eigenem Licht für kompakte Kameras und Smartphones 10.März 2022
ARRI erweitert Certified-Pre-Owned-Programm um Scheinwerfer 17.Februar 2022
Canon EOS C70 filmt bald auch in Cinema RAW Light 19.Januar 2022
Zhiyun Crane M3: Neuer universeller Einhand-Gimbal mit integriertem Licht 10.November 2021
alle Newsmeldungen zum Thema Beleuchtung


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 3.Juli 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*