Logo Logo
/// News

Googles neuer Super-Resolution Algorithmus SR3 skaliert Gesichter nahezu perfekt hoch

[18:11 Mi,14.Juli 2021 [e]  von ]    

Ein Forscherteam von Google hat einen neuen DeepLearning Super-Resolution Algorithmus vorgestellt, der alle bisher entwickelten Methoden in den Schatten stellt. Die SR3 (Super-Resolution via Repeated Refinement) getaufte Methode demonstriert besonders in Beispielen hochskalierter Gesichter ihre Stärke: so werden Photos von Gesichtern mit einer Auflösung von nur 64 x 64 Pixeln in zwei Schritten erst nach 256 x 256 Pixeln, dann nach 1.024 x 1.024 Pixeln hochgerechnet, was einer 16-fachen Vergrößerung entspricht. In einem anderen Experiment werden Bilder von Objekten wie etwa Blumen, Feuerwehrautos, Vögeln oder Bauwerken von 64 x 64 nach 256 x 256 Pixeln hochskaliert.


SR3-Example2


Die hohe Qualität der hochskalierten Bilder zeigte sich im Bildvergleichsexperiment: Probanden sollten entscheiden, ob das hochaufgelöste Orginalbild oder das erst in der Auflösung verminderte und dann per SR3 wieder hochgerechnete Bild besser aussieht - bei einer 8-fachen Hochskalierung von 8 x 8 nach 128 x 128 Pixeln wählte rund die Hälfte das hochskalierte Gesicht.

Cascade
Hochskalierung in mehreren Schritten


Das entspricht genau der Zufallsverteilung und bedeutet, dass nicht mehr unterschieden werden kann zwischen dem Original und der per Super Resolution erzeugten Version. Bei der viel schwierigen Aufgabe der 4-fachen Hochskalierung eines 64 x 64 Photos eines natürlichen Gegenstandes auf 256 x 256 zogen immerhin noch 40% der Versuchsteilnehmer das generierte Bild dem Original vor.



Wie funktioniert Super Resolution überhaupt?


Galt bis zum letzten Jahrzehnt noch das Dogma, dass bei einer Vergrößerung der Auflösung kein Detail hinzukommen kann, was nicht im Ursprungsbild liegt, befinden wir uns seit einigen Jahren in einem Paradigmen-Wechsel. Das Schlagwort heißt Super-Resolution. Unter Super-Resolution versteht man Technologien, die in der Nachbearbeitung einem Bild mehr Details hinzufügen, als ursprünglich in digitaler Form vorliegen.

Einfach gesagt sind es Verfahren, welche die Auflösung eines Bildes erhöhen und dabei für das "Mehr an Pixeln" nicht nur Interpolation zwischen bekannten Pixeln betreiben. Eine Superresolution (SR)-Applikation muss also Details schlüssig hinzuerfinden.

SR3-Example1
Weitere hochskalierte Objekte im Vergleich


Mit dem Aufkommen von Deep Learning hat Super-Resolution einen wahren Boost erfahren, da KI-Algorithmen sehr gut darin sind, Objekte zu erkennen und zu ergänzen. Wenn eine Künstliche Intelligenz beispielsweise Millionen von Gesichtern aus verschiedenen Blickwinkeln und in diversen Beleuchtungssituationen gesehen hat, kann sie anschließend jedem grob nur aufgelösten Gesicht in einem Bild gelernte passende Details hinzufügen. Das gilt jedoch genauso für Pflanzen, Autos oder Tiere.

Beim Hochskalieren machen sich neuronale Netze die typischen Muster natürlicher Objekte zunutze - d.h. Strukturen in den Bildern mit niedriger Auflösung werden beim Hochskalieren sinnvoll rekonstruiert. Mehr zum Thema in unserem Artikel Mehr Bildschärfe durch künstliche Intelligenz - Super-Resolution.

super_res_examples


Adobe hat einen solchen Super-Resolution Algorithmus schon in Photoshop integriert und das kostenpflichtige Tool Video Enhance AI sowie TecoGAN machen ähnliches für Videos.

Der neue SR3 Algorithmus ( hier die entsprechende Forschungsarbeit) wendet dabei einen besonderen Trick an und skaliert die Bilder in mehreren Durchgängen hoch, was zu besseren Ergebnissen führt als die Interpolation vom BasisbildBasisbild im Glossar erklärt zur hochaufgelösten Version. Oder genauer gesagt in den Worten der Forscher: "SR3 adaptiert entrauschende Diffusions-probabilistische Modelle an die bedingte Bildgenerierung und führt die Super-Resolution durch einen stochastischen iterativen Entrauschungsprozess durch."

Ein großer Caveat besteht allerdings bei solchen Deep Learning Methoden zur Super Resolution: die Ergebnisse sehen immer echter aus, was aber nicht bedeutet, dass die hochgerechneten Bilder dem Originalbild perfekt entsprechen, sondern nur, dass sie fotorealistisch gut geraten und gerendertgerendert im Glossar erklärt sind - der Betrachter kann nicht mehr entscheiden, ob so ein Bild "echt" ist oder generiert wurde.

Link mehr Informationen bei iterative-refinement.github.io

  
[7 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
medienonkel    16:23 am 18.7.2021
Wieso ein plugin? Topaz VEAI, kostet gerade 240 Euro. Über sensai wird das aber früher oder später in AE Einzug halten, nicht ganz so spezialisiert, aber in AE muss man ja eher...weiterlesen
Hannah96    21:07 am 15.7.2021
High! Ich arbeite mit After Effects – da gibts keine guten Build-In Lösungen, oder? Gibts günstige PlugIns die was taugen? Muss ja nicht gleich auf dem Google-Level sein...weiterlesen
CandyNinjas    10:22 am 15.7.2021
Haleluja !!! Wo wird das enden?
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildPanasonic GH5 II - gleicher Sensor, bessere Dynamik? bildYouTube Shorts macht TikTok Konkurrenz - Aber Achtung YouTube Creators!


verwandte Newsmeldungen:
Grundlagen:

Neuer Dell UltraSharp U4021QW: 40 Zoll Monitor mit 5K Auflösung und Thunderbolt 3 6.Januar 2021
Zoom F2 Field Recorder - Audio-Zwerg mit 32-Bit-Float-Technologie 11.November 2020
Neuronales Netz DAIN interpoliert Stop-Motion Frames 9.September 2020
TecoGAN: Neuer KI Super-Resolution Algorithmus macht Videos 4x schärfer 6.September 2020
Gigabyte G34WQC 34" Monitor: 3.440 x 1.440 Pixel Auflösung und 90% DCI-P3 18.August 2020
Canon EOS R5 und R6 vorgestellt - Stabilisiertes Vollformat bis 8K RAW mit Dual Pixel AF 9.Juli 2020
8K und Dual Pixel AF in Samsungs neuem ISOCELL GN1 Smartphone-Kamerasensor 25.Mai 2020
alle Newsmeldungen zum Thema Grundlagen


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Messenschraeg
9-13. Oktober / Las Vegas
NAB 2021
3-6. Dezember / Amsterdam
IBC 2021
weitere Termine von Messen, Schulungen und Roadshows


update am 17.September 2021 - 17:21
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*