Logo Logo
/// News

TecoGAN: Neuer KI Super-Resolution Algorithmus macht Videos 4x schärfer

[11:45 So,6.September 2020 [e]  von ]    

Eigentlich entspricht es ja dem gesunder Menschenverstand, daß fehlende Detailinformationen bei unscharfen Bildern nicht im Nachhinein ergänzt werden können. Es werden aber schon seit längerem sogenannte Super-Resolution Verfahren entwickelt, um Bilder nachträglich zu schärfen, etwa indem Informationen aus vor- und nachgehenden Bildern genutzt werden oder indem versucht wird in einem Bildausschnitt bekannte Muster zu erkennen, welche dann ergänzt werden können. Wir hatten zu den verschiedenen Entwicklungsstufen von Super-Resolution über die Jahre ja schon einige Artikel wie etwa ehr Bildschärfe durch künstliche Intelligenz - Super-Resolution und Grundlagen : Hocus Bogus - Super-Resolution.


TecoGAN-Examples
TecoGAN Beispiele


Durch (tiefschichtige) neuronale Netze haben diese Super-Resolution Verfahren in den letzten Jahren große Fortschritte in Sachen Qualität und Schnelligkeit gemacht, eigenen diese sich doch perfekt dafür, mittels Training anhand einer großen Anzahl von Bildern, auch in unbekannten Bildern (unscharfe) Strukturen zu erkennen und diese durch ihr vorhandenes Wissen sinnvoll durch mehr Bildinformationen zu ergänzen und so zu schärfen.



Dabei handelt es sich allerdings streng genommen nicht um das das realistätsgetreue Wiederherstellen verlorengegangener Informationen, sondern um ein auf Erfahrungen basierendes "Raten", ähnlich wie es die menschliche Wahrnehmung auch oft macht (was man bei manchen optischen Täuschungen gut beobachten kann).

TecoGAN-Smoke
TecoGAN Rauch


Erst wurden solche Verfahren für Photos oder Einzelbilder aus Videos entwickelt, dann auch für ganze Videos. Das Training ist einfach - Clips werden in niedriger Auflösung ausgespielt und anhand der Originale bewertet dann der Algorithmus, wie gut er gerade den verlorengegangenen Inhalt "erraten" hat und verbessert dann den nächsten Rateversuch.



Bisher aber litten solche Verfahren darunter, daß es oft zu Sprüngen zwischen zeitlich aufeinanderfolgenden Einzelbildern kam, weil der Algorithmus - sei es durch Artefakte oder durch Bildrauschen - unterschiedliche Muster zu erkennen glaubte und diese ergänzte. Der gerade auf der Siggraph 2020 vorgestellte TecoGAN Algorithmus der TU München erzielt in genau diesem Aspekt jetzt große Fortschritte und erzeugt räumlich und zeitlich kohärente Bildfolgen. Die Ergebnisse sind wirklich erstaunlich - die aus unscharfen Videos resultierenden Clips sind deutlich schärfer und zeigen mehr Details.

Die Möglichkeit für eine gut und zuverlässig funktionierende nachträgliche Schärfung sind natürlich faszinierend. So können alte Filme auf eine höhere Auflösung hochgerechnet werden, wie hier zum Beispiel zu sehen bei einem der ersten Filme jemals, der "Ankunft eines Zuges in La Ciotat" von 1896, der nach 4K60p hochskaliert wurde. Auch könnte Super-Resolution bereits in der Kamera erfolgen, womit schärfere Bilder generiert werden können als der jeweilige Sensor eigentlich in der Lage wäre zu produzieren. Gerade Smartphone Hersteller dürften hierfür sicherlich einen großen Bedarf ausmachen, nachdem künstliches Bokeh ja auch bereits sehr gut bei den Konsumenten ankommt...

Hier wird der TecoGAN Algorithmus noch etwas erläutert:



Wer will und über das notwendige Wissen verfügt, kann TecoGAN selbst ausprobieren, der Code findet sich auf hier auf GitHub. Hier noch mehr Beispiele von geschärften Bildern. Das Projekt hat zur Berechnung eine Nvidia GeForce GTX 1080Ti GPU mit 11 GB RAM genutzt.

Und zur Anschauung noch ein weiterer "2 Minute Papers" Clip, der einen anderen faszinierenden DeepLearning Algorithmus vorstellt, der im großen Maßstab fehlende Bildinhalte zu "erraten" versucht und selbstständig ergänzt:




Link mehr Informationen bei ge.in.tum.de

  
[13 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Christian Schmitt    08:43 am 10.9.2020
Da werden sich Polizei und Staatsanwaltschaft sicher als erstes in die Warteschlange für ein benutzerfreundliches Endprodukt stellen.
cantsin    23:43 am 9.9.2020
Dann kriegst Du aber nur fiktive Nummernschilder und Gesichter, die zwar vielleicht plausibel aussehen, aber nichts mit dem Motiv zu tun haben. Das gab's übrigens schon mal als...weiterlesen
KallePeng    22:52 am 9.9.2020
HiHi, ich bin mal gespannt wann die ersten Leute auf die Idee kommen, mit Hilfe des Algorythmus verpixelte Nummernschilder und Personen wieder kenntlich zu...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildWestern Digital ArmorLock: Mobile sichere SSD mit Entschlüsselung per Smartphone bildNetflix optimiert seine 4K Filme und spart 50% Daten


verwandte Newsmeldungen:
Grundlagen:

Lenovo ThinkVision M14d: Mobiler USB-C 14" Monitor mit 2.2K Auflösung angekündigt 8.März 2022
Zoom F3 - professioneller Mini Field Recorder mit XLR und 32-Bit-Float 19.Januar 2022
LG DualUp: nahezu quadratischer Monitor mit 2.560 x 2.880 Auflösung 28.Dezember 2021
Sony zeigt neuartige Stacked CMOS-Bildsensor-Technologie mit besserer Dynamik 19.Dezember 2021
Googles neuer Super-Resolution Algorithmus SR3 skaliert Gesichter nahezu perfekt hoch 14.Juli 2021
Neuer Dell UltraSharp U4021QW: 40 Zoll Monitor mit 5K Auflösung und Thunderbolt 3 6.Januar 2021
Zoom F2 Field Recorder - Audio-Zwerg mit 32-Bit-Float-Technologie 11.November 2020
alle Newsmeldungen zum Thema Grundlagen

Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 16.Mai 2022 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*