Eigentlich klingt die ganze Sache ja eher wie ein April-Scherz: Mit Super-Resolution soll es gelingen, die Auflösung von einzelnen Videoframes spürbar zu erhöhen. Dabei kommen auch Bilddetails zum Vorschein, die bei reiner (zb. bikubischer) Interpolation nicht zu sehen sind.
Seit geraumer Zeit werden auf diversen Kongressen immer wieder Demonstrationen dieses Algorithmus gezeigt, die einen erst einmal ungläubig den Kopf schütteln lassen: Da werden unscharfe und vermatschte Schriften plötzlich klar lesbar, oder unscharfe Strukturen zeigen plötzlich nie erwartete Details.
Die Idee
Die Idee ist so einfach, wie genial. Betrachtet man einen Videoframe nicht einzeln sondern auch seine Vorgänger und seine Nachfolger im Clip, so werden alle bewegten Objekte pro Bild leicht verschoben aufgezeichnet. Bei einem fahrenden Auto ist dies klar, jedoch passiert natürlich ähnliches auch bei einem (lebendigen) Gesicht oder einer Kameraaufnahme ohne Stativ.
Die Objekte verschieben sich höchstwahrscheinlich jedoch nicht pixelweise vor dem CCD, sondern sie bewegen sich im sogenannten Subpixelbereich. Von der perspektivischen Verzerrung einmal abgesehen, kann man sich so die Informationen aus verschiedenen Bildern zunutze machen und erhält über die Zeit mehr Detailinformation zu einem Objekt. Um die einzelnen Objekte zu verfolgen kann man sich die Bewegungsschätzung moderner Codec-Forschung zunutze machen.
Wie in der folgenden Abbildung vereinfacht dargestellt errechnet der Super-Resolution-Algorithmus aus drei unscharfen, aber im Subpixel-Bereich verschobenen Bildern ein scharfes Bild:
Das ganze klingt jetzt etwas unglaubwürdig, jedoch haben unter anderem einige Microsoft-Ingineure herausgefunden, dass sich die Bildinformation bei diesem Verfahren im optimalem Fall tatsächlich um den Faktor 1,6 erhöhen lässt. Oder in Zahlen: Ein DV-Bild (720 x 576 Pixel) könnte mit der zusätzlichen Information auf die Größe 1152 x 921 aufgeblasen werden, was ja schon ziemlich nah an 720p liegen würde.
Wer sich für die näheren Details zu Super-Resultion interessiert stößt über Google auf die gesamten mathematischen Grundlagen. Hier oder hier kann man auch über die Ergebnisse staunen, die unter "Laborbedingungen" erzielt worden sind (man achte besonders auf die Verbesserung von schrägen Linien). Sollte dieser Algorithmus tatsächlich auch in der Praxis derart fantastische Ergebnisse liefern -die übrigens enorme Rechenleistung verschlingen- dürfte es sicherlich nicht mehr lange dauern, bis dieser Algorithmus sich auch in Standard-Videoschnitt- und Compositing-Programmen wieder findet. Sei es zur Extraktion von Standbildern aus Videofilmen (z.B. Für den Posterdruck), oder als hochqualitativer HDV-Upscaler für DV-Material. Oder natürlich als verbesserter Schärfefilter.
Was taugt es?
Wir haben uns nun einmal im Netz umgesehen, was bereits an fertigen Applikationen erhältlich ist. Leider veröffentlichten die russischen MSU-Labs ihren Super-Resolution-VirtualDub-Filter nicht. Wer es einmal mit Standbildern aus DV-Material versuchen will, kann mit dem Freeware-Tool "QE SuperResolution" herumspielen. Unser besonderes Interesse hat jedoch ein kommerzielles Plugin für Premiere und After Effects geweckt, das auf der Firmen-Homepage mit ziemlich guten Ergebnissen glänzt: Es nennt sich Topaz Enhance und kostet schlappe 300 Euro. Dafür soll das Programm den Super-Resolution Algorithmus auch gleich noch zum Deinterlacen, zum Denoisen sowie zur Formatkonvertierung verwenden können. Genauer betrachtet sind das ziemlich coole Einsatzgebiete, in denen Super-Resolution sicherlich gute Dienste leisten könnte.
"Könnte" deswegen, weil unsere bisherigen Ergebnisse in der Praxis ziemlich unspektakulär ausfielen. Die folgende Abbildung zeigt den Unterschied zwischen einer Original-Aufnahme und der Wirkung des Topaz-Plugins.
Im direkten Photoshop-Ebenen-Vergleich sieht man zwar einen minimalen Tick mehr Schärfe sowie etwas weniger Rauschen, jedoch fällt dies wirklich nur im 1:1 Sichtvergleich auf, wenn man mit der Lupe danach sucht.
Auch das Freeware-Tool QE konnte uns nicht wirklich überzeugen. Zumindest mit unseren Testaufnahmen war mit keinem der Programme eine signifikante Verbesserung des Materials möglich. Da QE SuperResolution jedoch Freeware ist und Topaz von Enhance eine 30 Tage-Demo anbietet, sind wir besonders auf euer Feedback im Forum gespannt. Vielleicht gelingt ja einem von euch eine spektakuläre Bildverbesserung. Die Diskussion um die Ergebnisse sei hiermit eröffnet....
Fazit
Grundsätzlich ist Super Resolution ein ziemlich spannender Ansatz, der sicherlich in Zukunft noch deutlich bessere Plugins hervorbringen wird. Momentan bleibt die Super Revolution durch Super-Resolution allerdings noch aus, was auch auf die aktuelle Implementierung der erhältlichen Pluins zurückzuführen sein kann. Die Ergebnisse aus den Forschungslabors lassen zumindest hoffen, dass wir hier in Zukunft noch faszinierende Deinterlacer, Denoiser und Upscaler sehen werden.
