Netflix skaliert 80er Jahre Serie hoch - wenn KI mehr schadet als nutzt

[slashCAM]

Eigentlich klingt die Idee, alte Filme und TV-Serien, die nur in niedriger Auflösung vorliegen, per KI auf HD oder gar 4K hochzuskalieren, ganz gut: Idealerweise sind sie...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Netflix skaliert 80er Jahre Serie hoch - wenn KI mehr schadet als nutzt

[blindcat]

Super Resolution ist keine KI. Es ist eine Sammlung von Paaren aus kleinen Kacheln von Bildern mit Details und deren herunterskaliertem blurry Ergebnis. Die blurry Ergebnisse werden dann mit einer Kachel aus dem hochzuskalierendem Bild verglichen und bei der ähnlichsten wird die dazu passende Detailkachel für das Ergebnisbild verwendet. Kann man auch in Farbkanälen getrennt machen. Die Methode ist für Einzelbilder geeignet, und hat eher keine Konsistenz für Videos (prinzipbedingt).
Grüße, Frankie

[cantsin]

Super Resolution ist keine KI. Es ist eine Sammlung von Paaren aus kleinen Kacheln von Bildern mit Details und deren herunterskaliertem blurry Ergebnis.

Du täuschst Dich:
https://en.wikipedia.org/wiki/Video_sup ... on#Methods

[macaw]

Ich hab das vor einigen Wochen schon gesehen, hab die Serie als Kind geschaut und war entsetzt. Anders als im Artikel gesagt waren die Artefakte nicht erst bei näherem hingucken zu sehen, sondern so gut wie immer. Aber was soll man auch erwarten: Ausgangsmaterial war grottigstes interlace NTSC...

[cantsin]

Naja, die haben die Serie wohl als Altschrott gesehen, der billig das Programm auffüllt, und daher nichts in eine echte Restauration investiert, sondern das Material einmal blind durch Topaz laufen lassen....

[blindcat]

@cantsin: Da stimm ich nicht ganz mit der Wiki überein, weil ich finde, dass der Superresolution Ansatz mit den Kachelpäarchen ja schon lange vor dem KI Boom praktiziert wurde. Aber wenn man die Methoden unter dem Begriff fortentwickelt .... soll es so sein.

Ich hab hier auch einen PAL-Clip von einer DVD, den ich immer mal wieder in Topaz Video werfe. So schlimme Artefakte wie in der Serie gibts da auch. Allerdings sind die Modelle wirklich über die Zeit besser geworden. Zuletzt ist die Artefakt Ausprägung teilweise nur wenig vorhanden gewesen. Es wird. Langsam.

[Jott]

Ich hab mal ein paar Minuten geschaut - wegen Lisa Bonet, um ehrlich zu sein! :-)

Artefakte suchen ist nicht mein Hobby - was da aus schwammigster NTSC-4:3-Interlaced-Grütze rausgeholt wurde, ist schon beachtlich.

Schlechtreden geht natürlich immer.

[iasi]

Ich hab mal ein paar Minuten geschaut - wegen Lisa Bonet, um ehrlich zu sein! :-)

Artefakte suchen ist nicht mein Hobby - was da aus schwammigster NTSC-4:3-Interlaced-Grütze rausgeholt wurde, ist schon beachtlich.

Schlechtreden geht natürlich immer.

So schrecklich sieht das doch gar nicht aus, wenn man bedenkt, welche Auflösung das Ausgangsmaterial hatte und vor allem, da auch noch hineingecroppt wurde.
Dass 4:3-Material auf 16:9 gebracht wird, stört mich viel mehr, als irgendwelche Artefakte.

[medienonkel]

NTSC SD zu UHD aufblasen klappt nur für wenige Bildinhalte. Vor allem nicht in einem Rutsch und nicht allgemein für eine ganze Folge einer Serie.

Solides 720p als Ziel reicht für solches Ausgangsmaterial vollkommen, das kann man dann auch stufenweise hochrechnen und ein wenig Handarbeit reinstecken.

Den Rest macht dann der Fernseher in Echtzeit.

Außerdem möchte man vielleicht gar keine Inhalte in UHD sehen, die für SD geleuchtet, geschreinert und geschminkt sind.

[iasi]

NTSC SD zu UHD aufblasen klappt nur für wenige Bildinhalte. Vor allem nicht in einem Rutsch und nicht allgemein für eine ganze Folge einer Serie.

...

Den Rest macht dann der Fernseher in Echtzeit.

Außerdem möchte man vielleicht gar keine Inhalte in UHD sehen, die für SD geleuchtet, geschreinert und geschminkt sind.

Der UHD-Fernseher skaliert aber nun einmal auf UHD hoch.
Das macht er sicherlich in Echtzeit sehr viel schlechter, als eine KI-Software in wahrscheinlich der Vielfachen der Zeit.

Das ist ja dann auch das Problem mit SD-Material.

Eigentlich ist das Hochskalieren per KI ja gut und richtig, dass dann aber auf 16:9 gecroppt wird, ist jedoch mies.

[Jott]

Wieso? Anders geht’s ja nicht heute, wenn das Programm nicht sofort als „historisch“ ins Auge springen soll. Ist ja keine Arte-Doku.

Die Serie ist über 30 Jahre alt! Allein das szenenweise Re-Framing zu heutigem 16:9 verdeckt das schon ziemlich gut. Und 1080p muss mindestens sein, es geht ja um Netflix.

[medienonkel]

NTSC SD zu UHD aufblasen klappt nur für wenige Bildinhalte. Vor allem nicht in einem Rutsch und nicht allgemein für eine ganze Folge einer Serie.

...

Den Rest macht dann der Fernseher in Echtzeit.

Außerdem möchte man vielleicht gar keine Inhalte in UHD sehen, die für SD geleuchtet, geschreinert und geschminkt sind.

Der UHD-Fernseher skaliert aber nun einmal auf UHD hoch.
Das macht er sicherlich in Echtzeit sehr viel schlechter, als eine KI-Software in wahrscheinlich der Vielfachen der Zeit.

Das ist ja dann auch das Problem mit SD-Material.

Eigentlich ist das Hochskalieren per KI ja gut und richtig, dass dann aber auf 16:9 gecroppt wird, ist jedoch mies.

Würde ich so nicht unterschreiben. Eine Firma wie z.B Sony oder Samsung hat ganz andere Möglichkeiten ein Skalierungsmodell in ihre Geräte zu integrieren und vor allem zu trainieren.
Topaz ist da nur eine Gruppe von Hobbyisten im Vergleich.
Es dürften weit mehr Fernseher verkauft werden, als Nerd-Software an experimentierfreudige Großrechner Besitzer.

Die KI Software hat leider auch oft zu viel Zeit, sich noch irgendwas dazu zu denken oder neu zu interpretieren.
Analoges, mit Halbbildern gesegnetes SD Material gehört einfach nicht auf UHD als Zielformat mit den aktuellen Möglichkeiten aufgeblasen.

Project Starlight bietet da als komplett generativer Ansatz in Zukunft wohl Abhilfe. Läuft aber nur auf den Topaz Servern und die Ergebnisse haben dann keinen Pixel mehr aus den Originalclips.

[iasi]

Der UHD-Fernseher skaliert aber nun einmal auf UHD hoch.
Das macht er sicherlich in Echtzeit sehr viel schlechter, als eine KI-Software in wahrscheinlich der Vielfachen der Zeit.

Das ist ja dann auch das Problem mit SD-Material.

Eigentlich ist das Hochskalieren per KI ja gut und richtig, dass dann aber auf 16:9 gecroppt wird, ist jedoch mies.

Würde ich so nicht unterschreiben. Eine Firma wie z.B Sony oder Samsung hat ganz andere Möglichkeiten ein Skalierungsmodell in ihre Geräte zu integrieren und vor allem zu trainieren.
Topaz ist da nur eine Gruppe von Hobbyisten im Vergleich.
Es dürften weit mehr Fernseher verkauft werden, als Nerd-Software an experimentierfreudige Großrechner Besitzer.

Die KI Software hat leider auch oft zu viel Zeit, sich noch irgendwas dazu zu denken oder neu zu interpretieren.
Analoges, mit Halbbildern gesegnetes SD Material gehört einfach nicht auf UHD als Zielformat mit den aktuellen Möglichkeiten aufgeblasen.

Project Starlight bietet da als komplett generativer Ansatz in Zukunft wohl Abhilfe. Läuft aber nur auf den Topaz Servern und die Ergebnisse haben dann keinen Pixel mehr aus den Originalclips.

Wenn ein Fernseher in Echtzeit skalieren muss, ist es generell etwas anderes, wie wenn ein Rechner mit weit höherer Rechenleistung sich dafür reichlich Zeit lassen kann.

Und nochmal: Wenn du SD-Material auf einem UHD-Bildschirm anschaust, ist es hochskaliert, wenn du es nicht gerade in einem SD-Fensterchen laufen lässt. Zumal, wenn dann auch noch Halbbilder das Glück vervollständigen.



Oder aber du hast noch einen guten alten Röhrenfernseher herumstehen. :)

[medienonkel]

Würde ich so nicht unterschreiben. Eine Firma wie z.B Sony oder Samsung hat ganz andere Möglichkeiten ein Skalierungsmodell in ihre Geräte zu integrieren und vor allem zu trainieren.
Topaz ist da nur eine Gruppe von Hobbyisten im Vergleich.
Es dürften weit mehr Fernseher verkauft werden, als Nerd-Software an experimentierfreudige Großrechner Besitzer.

Die KI Software hat leider auch oft zu viel Zeit, sich noch irgendwas dazu zu denken oder neu zu interpretieren.
Analoges, mit Halbbildern gesegnetes SD Material gehört einfach nicht auf UHD als Zielformat mit den aktuellen Möglichkeiten aufgeblasen.

Project Starlight bietet da als komplett generativer Ansatz in Zukunft wohl Abhilfe. Läuft aber nur auf den Topaz Servern und die Ergebnisse haben dann keinen Pixel mehr aus den Originalclips.

Wenn ein Fernseher in Echtzeit skalieren muss, ist es generell etwas anderes, wie wenn ein Rechner mit weit höherer Rechenleistung sich dafür reichlich Zeit lassen kann.

Und nochmal: Wenn du SD-Material auf einem UHD-Bildschirm anschaust, ist es hochskaliert, wenn du es nicht gerade in einem SD-Fensterchen laufen lässt. Zumal, wenn dann auch noch Halbbilder das Glück vervollständigen.



Oder aber du hast noch einen guten alten Röhrenfernseher herumstehen. :)

Ach jetzt verstehe ich erst.
Klaro, auch der TV muss natürlich dieses "Skalar" errechnen. Ich dachte immer, TVs machen das optisch anhand der orgonalen Bohr-Matrize analog.

Auch in LCD-TVs sind ja diese Multiplikatorfolien vorne zu finden. Durch LED Strahlung angeregte optische Transformatoren, die über Interferenzen die Auflösung erhöhen.

Aber, wenn das in einem TV nur so ein integrierter Schaltkreis errechnet, ist das natürlich immer schlechter, als bei einem guten IBM/PC.
Der hat ja auch reichlich mehr Leistung.

Sorry für das Missverständnis.
Die Grafik hat mich schlussendlich vollends überzeugt.

[Bruno Peter]

Es gibt doch noch eine Menge SDR-TV-Sender, das was dort jeden Tag gezeigt wird
sieht ja nicht schlecht aus auf einem 55" 4K-TV, vor allem die Kanal-Werbung.