Logo
/// News

TecoGAN: Neuer KI Super-Resolution Algorithmus macht Videos 4x schärfer

[11:45 So,6.September 2020 [e]  von ]    

Eigentlich entspricht es ja dem gesunder Menschenverstand, daß fehlende Detailinformationen bei unscharfen Bildern nicht im Nachhinein ergänzt werden können. Es werden aber schon seit längerem sogenannte Super-Resolution Verfahren entwickelt, um Bilder nachträglich zu schärfen, etwa indem Informationen aus vor- und nachgehenden Bildern genutzt werden oder indem versucht wird in einem Bildausschnitt bekannte Muster zu erkennen, welche dann ergänzt werden können. Wir hatten zu den verschiedenen Entwicklungsstufen von Super-Resolution über die Jahre ja schon einige Artikel wie etwa ehr Bildschärfe durch künstliche Intelligenz - Super-Resolution und Grundlagen : Hocus Bogus - Super-Resolution.


TecoGAN-Examples
TecoGAN Beispiele


Durch (tiefschichtige) neuronale Netze haben diese Super-Resolution Verfahren in den letzten Jahren große Fortschritte in Sachen Qualität und Schnelligkeit gemacht, eigenen diese sich doch perfekt dafür, mittels Training anhand einer großen Anzahl von Bildern, auch in unbekannten Bildern (unscharfe) Strukturen zu erkennen und diese durch ihr vorhandenes Wissen sinnvoll durch mehr Bildinformationen zu ergänzen und so zu schärfen.



Dabei handelt es sich allerdings streng genommen nicht um das das realistätsgetreue Wiederherstellen verlorengegangener Informationen, sondern um ein auf Erfahrungen basierendes "Raten", ähnlich wie es die menschliche Wahrnehmung auch oft macht (was man bei manchen optischen Täuschungen gut beobachten kann).

TecoGAN-Smoke
TecoGAN Rauch


Erst wurden solche Verfahren für Photos oder Einzelbilder aus Videos entwickelt, dann auch für ganze Videos. Das Training ist einfach - Clips werden in niedriger Auflösung ausgespielt und anhand der Originale bewertet dann der Algorithmus, wie gut er gerade den verlorengegangenen Inhalt "erraten" hat und verbessert dann den nächsten Rateversuch.



Bisher aber litten solche Verfahren darunter, daß es oft zu Sprüngen zwischen zeitlich aufeinanderfolgenden Einzelbildern kam, weil der Algorithmus - sei es durch ArtefakteArtefakte im Glossar erklärt oder durch Bildrauschen - unterschiedliche Muster zu erkennen glaubte und diese ergänzte. Der gerade auf der Siggraph 2020 vorgestellte TecoGAN Algorithmus der TU München erzielt in genau diesem Aspekt jetzt große Fortschritte und erzeugt räumlich und zeitlich kohärente Bildfolgen. Die Ergebnisse sind wirklich erstaunlich - die aus unscharfen Videos resultierenden Clips sind deutlich schärfer und zeigen mehr Details.

Die Möglichkeit für eine gut und zuverlässig funktionierende nachträgliche Schärfung sind natürlich faszinierend. So können alte Filme auf eine höhere Auflösung hochgerechnet werden, wie hier zum Beispiel zu sehen bei einem der ersten Filme jemals, der "Ankunft eines Zuges in La Ciotat" von 1896, der nach 4K60p hochskaliert wurde. Auch könnte Super-Resolution bereits in der Kamera erfolgen, womit schärfere Bilder generiert werden können als der jeweilige Sensor eigentlich in der Lage wäre zu produzieren. Gerade Smartphone Hersteller dürften hierfür sicherlich einen großen Bedarf ausmachen, nachdem künstliches Bokeh ja auch bereits sehr gut bei den Konsumenten ankommt...

Hier wird der TecoGAN Algorithmus noch etwas erläutert:



Wer will und über das notwendige Wissen verfügt, kann TecoGAN selbst ausprobieren, der Code findet sich auf hier auf GitHub. Hier noch mehr Beispiele von geschärften Bildern. Das Projekt hat zur Berechnung eine Nvidia GeForce GTX 1080Ti GPU mit 11 GB RAM genutzt.

Und zur Anschauung noch ein weiterer "2 Minute Papers" Clip, der einen anderen faszinierenden DeepLearning Algorithmus vorstellt, der im großen Maßstab fehlende Bildinhalte zu "erraten" versucht und selbstständig ergänzt:




Link mehr Informationen bei ge.in.tum.de

  
[13 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Christian Schmitt    08:43 am 10.9.2020
Da werden sich Polizei und Staatsanwaltschaft sicher als erstes in die Warteschlange für ein benutzerfreundliches Endprodukt stellen.
cantsin    23:43 am 9.9.2020
Dann kriegst Du aber nur fiktive Nummernschilder und Gesichter, die zwar vielleicht plausibel aussehen, aber nichts mit dem Motiv zu tun haben. Das gab's übrigens schon mal als...weiterlesen
KallePeng    22:52 am 9.9.2020
HiHi, ich bin mal gespannt wann die ersten Leute auf die Idee kommen, mit Hilfe des Algorythmus verpixelte Nummernschilder und Personen wieder kenntlich zu...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildWestern Digital ArmorLock: Mobile sichere SSD mit Entschlüsselung per Smartphone bildNetflix optimiert seine 4K Filme und spart 50% Daten


verwandte Newsmeldungen:
Grundlagen:

Neuronales Netz DAIN interpoliert Stop-Motion Frames 9.September 2020
Gigabyte G34WQC 34" Monitor: 3.440 x 1.440 Pixel Auflösung und 90% DCI-P3 18.August 2020
Canon EOS R5 und R6 vorgestellt - Stabilisiertes Vollformat bis 8K RAW mit Dual Pixel AF 9.Juli 2020
8K und Dual Pixel AF in Samsungs neuem ISOCELL GN1 Smartphone-Kamerasensor 25.Mai 2020
Mehr Infos zur Canon EOS R5 -- Dual Pixel CMOS AF auch im 8K-Modus 13.März 2020
Apple: Neues MacBook Pro 16“ - höhere Auflösung, neue Tastatur, mehr GPU-Power ... 13.November 2019
Mehr Auflösung für 360°: Kandao QooCam 8K Kamera angekündigt 9.November 2019
alle Newsmeldungen zum Thema Grundlagen


[nach oben]

















passende Forenbeiträge zur News:

Archive

2020

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
15. August - 15. November / Düsseldorf
upfront! young european video award
30-31. Oktober / Espelkamp
Filmfestival SPITZiale
6-8. November / Freyung
Kurzfilmfest Dreiländereck
27. November / Bielefeld
31. Bilderbeben zum Thema „Abschied“
alle Termine und Einreichfristen


update am 25.September 2020 - 08:51
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*