Logo Logo
/// News

Neue Google KI entrauscht RAW Photos dunkler Szenen perfekt - bald auch Videos?

[14:23 So,28.August 2022 [e]  von ]    

Ein Team von Google-Forschern hat einen Algorithmus entwickelt, mit dessen Hilfe mehrere (verrauschte) RAW Photos aus verschiedenen Winkeln einer dunklen Szene dazu genutzt werden können, um vom Low Noise Bildrauschen befreite, hellere Bilder zu generieren, auf denen viel mehr Details zu erkennen sind als auf dem ursprünglichen Photos. Das neue, MultiNeRF-Verfahren basiert auf der Neural Radiance Fields (NeRF) Technik, die aus mehreren Bildern aus unterschiedlichen Perspektiven neue Ansichten synthetisieren kann und ergänzt wurde um die Fähigkeit, auch mit dunklen Photos zu funktionieren.



RAW-NeRF-Beispiel1
Demo von RawNeRF



Die neue, RawNeRF getaufte Methode ergänzt den bisherigen Algoritmhus, sodass dieser auch verrauschtes RAW Rohmaterial für neue synthetische Ansichten nutzen kann. Sie wird unter anderem am Beispiel einer Szene demonstriert, die mit einem Smartphone photographiert und nur von einer Kerze beleuchtet wurde. Das Smartphone erzeugt zwar ein recht anschauliches Bild, aber um den Preis, daß viele Details wegfallen. Die RAW-Version des Photos zeigt dagegen viel mehr Details, wenn die Helligkeit des Bildes erhöht wird, aber dafür rauscht es auch viel stärker.




Werden die Bilder in den RawNeRF Algorithmus eingespeist, werden klare helle Bilder generiert - oder auf Wunsch auch eine virtuelle Kamerafahrten, die die ursprüngliche dunkle Szene samt der sonst schwer zu erkennenden Objekte viel heller und ohne Bildrauschen zeigen. RawNeRF nutzt eine relativ große Menge verrauschte RAW Photos (25-200) und übertrifft laut den Forschern dedizierte bisherige Einzelbild- und Mehrbild-Entrauschungsverfahren, welche die selben Photoserien nutzen.

NeRF-pipeline


Aber darauf beschränkt sich die Methode nicht - sie bietet noch weitere interessante Möglichkeiten, die Darstellung der neu synthetisierten Ansicht zu ändern: so kann im Nachhinein nicht nur die Perspektive, sondern auch die Belichtung der Szene, das Tonemapping sowie auch der Fokus dynamisch geändert werden.



So kann der neue Algorithmus dazu genutzt werden, um interessante Animationen von Photos zu erstellen, aber für Filmer dürfte es besonders interessant sein, die Entrauschungsmethode auch auf LowLight (RAW-)Videos dunkler Szenen mit viel Noise anzuwenden, die ja nichts anderes sind, als Abfolgen von Einzelbildern. Zwar sind die Bildsensoren professioneller Kameras deutlich größer und damit auch lichtempfindlicher als die von Smartphonekameras, aber auch hier dürfte die Methode deutliche Bildverbesserungen von dunklen Bildern ermöglichen. Voraussetzung ist aber vermutlich eine zumindest leicht bewegte Kamera, damit der Algorithmus genügend Bilder aus anderen Perspektiven hat, um die Zwischenbilder zu synthetisieren bzw. Bilder zu entrauschen.

Hier die wie immer sehr unterhaltsame und lehrreiche Vorstellung von MultiNeRF durch "2 Minute Papers":


Die Erfahrung lehrt, daß nützliche neue Bildverfahren aus der Forschung ihren Weg auch bald in kommerzielle (oder Open Source) Software für den User finden - wir dürfen also darauf hoffen, bald auch selbst Low-Light Photos oder Videos hochwertig zu entrauschen. Hier die Forschungsarbeit ("NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images") plus der Link zum quelloffenen Code.

RAW-NeRF-Beispiel2



Link mehr Informationen bei bmild.github.io

  
[7 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
iasi    23:33 am 28.8.2022
Tja. Mit solchen Leuten kann man diskutieren, während man sich in der wohligen Einigkeit der Mehrheit nur gegenseitig die Eier schaukeln kann. :) Aber jeder wie er mag. ...weiterlesen
MrMeeseeks    22:37 am 28.8.2022
Das genaue Gegenteil ist der Fall. Du bist in der Regel immer genau gegen das was von der Mehrheit befürwortet wird. Also nichts anderes als ein Hipster. Das ist schon als User...weiterlesen
iasi    22:10 am 28.8.2022
Ja - und ich komm da sogar ganz allein drauf und muss mich nicht mit den aktuellen Strömungen mittreiben lassen. Aber schon recht: klusterdegenerierung betrachtet die Ergebnisse...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildSamsung 990 PRO: Neues NVMe SSD Spitzenmodell kommt mit 7.450 MB/s an die Grenze von PCIe 4.0 bildMehr Vollformat 1.6x-Anamorphoten und ein 1.25x Adapter von Sirui


verwandte Newsmeldungen:
Machine Learning:

VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren 22.September 2022
KI Bilder mit Stable Diffusion jetzt auch direkt in Photoshop und Gimp erzeugen 18.September 2022
Neuer Algorithmus ermöglicht eigene Objekte in KI-generierten Bildern 15.September 2022
Kostenlose Bildgenerierung per KI: Stable Diffusion jetzt mit einfachem Installer 13.September 2022
Video-Editing per Textkommando: Nach Text-zu-Bild kommt Text-zu-Video KI 11.September 2022
Insta360 X3 - 360°-ActionCam mit neuen Bildsensoren und KI-Funktionen 11.September 2022
Wie man eine animierte Modeschau einfach mit kostenlosen KI Tools produziert 2.September 2022
alle Newsmeldungen zum Thema Machine Learning

Film:

Sigma entwickelt 65mm FF-Objektiv für digitale Kino-Kameras 16.September 2022
LETsDOK: Ab Montag Dokumentarfilmfestival in 149 Kinos 11.September 2022
Neues Canon Cine-Servo CN8x15 für Kino/Broadcast 10.September 2022
Neue KI stellt Objekte aus Photos automatisch perfekt frei 7.August 2022
Filmsimulationstool Dehancer Film Pro ab sofort auch als Beta für Final Cut Pro 2.August 2022
Sony Future Filmmaker Wettbewerb lockt mit Besuch der Sony Filmstudios in Hollywood 1.August 2022
Cinematic HFR: Titanic und Avatar kommen nach "Motion Grading" neu ins Kino 25.Juli 2022
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 24.September 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*