KI Forum



Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11279

Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von slashCAM »


NVIDIA hat auf der CES 2023 seine neue RTX Video Super Resolution Technologie vorgestellt, mit deren Hilfe Besitzer von GeForce-Grafikkarten der Serien RTX 4000 und 3000 ...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



medienonkel
Beiträge: 976

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?

Glaube ich erst, wenn ich's sehe.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.



tom
Administrator
Administrator
Beiträge: 1542

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von tom »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
slashCAM



dienstag_01
Beiträge: 14573

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von dienstag_01 »

tom hat geschrieben: Mo 09 Jan, 2023 11:34
andieymi hat geschrieben: Mo 09 Jan, 2023 10:42

Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

dienstag_01 hat geschrieben: Mo 09 Jan, 2023 11:57
tom hat geschrieben: Mo 09 Jan, 2023 11:34

Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.
Niemand schließt aus, dass das spezialisierte Hardware besser kann. Aber sowas gibt's jetzt gefühlt 1-2 Jahre, das könnte auch jederzeit als dezidierte Lösung auf einer GPU kommen, das ist kein Argument gegen die GPUs. Im Gegenteil besitzen die GPU-Fertiger (vgl. mit den meisten TV-fertigern) mittlerweile weitaus mehr Erfahrung in komplexem Upscaling.

Für Gaming ist das einfach die Zukunft, wenn die Hardwarehersteller weiter auf 4K+ setzen. Es gibt heute schon kaum mehr Konfigurationen mit GPUs, die überhaupt aktuelle Titel in 4K 120fps rendern können. Bei Rechnern für Schnitt/Grading merkt man den Unterschied FHD/4K Performancemäßig mittlerweile weniger, weil da weniger in Echtzeit passiert, zumindest keine Neuberechnung mit 120 Frames.



medienonkel
Beiträge: 976

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Soweit ich den Artikel verstanden habe, geht es um das Hochskalieren von Video im Browser. Also exakt das, was auch im Fernseher passiert.

Jedes Display muss nicht native Auflösung skalieren. Das 1080p Video muss ja auf UHD aufgeblasen werden. Und umgekehrt. Im simpelsten Fall tatsächlich durch Verfierfachung der Pixel. (nearest neighbour)

Selbstverständlich läuft das auf hochspezialisierten DSPs, die ohne Probleme in Echtzeit laufen. Halt fest in Hardware gegossen.
Der große Nachteil dieser Lösungen ist natürlich die nicht vorhandene Programmierbarkeit.

Mit dem Performancegewinn durch DLSS (Spiel in niedriger Auflösung rendern und per AI Hochskalieren) hat das erstmal nichts zu tun, da es hier um höhere fps geht, die in Echtzeit gerendert werden müssen.

Video liegt ja schon fertig vor.

Interessant wird KI Skalierung ja erst bei möglichst schlechtem Ausgangsmaterial. Kompressionsartefakte lassen sich sehr schön rausrechnen, da hier ja ein erlernbarer Prozess dahinter steckt.



MK
Beiträge: 4426

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von MK »

NVIDIA hat in den neuesten Treibern RTX Video HDR hinzugefügt womit man sich in Browsern auf Chromium Basis (Chrome, Edge, etc.) Videos AI-unterstützt von SDR nach HDR wandeln lassen kann (HDR Monitor vorausgesetzt). RTX Video HDR und RTX Video Super Resolution sind zeitgleich nutzbar.

https://blogs.nvidia.com/blog/rtx-video ... io-driver/



 Aktuelle Beiträge [alle Foren]
 
» Nikon Z6III bekommt u.a. Auto-Capture, USB-Streaming, Vogelmodus
von cantsin - Fr 22:20
» Wie SDI Video in Netzwerk streamen?
von prime - Fr 21:19
» Was hast Du zuletzt gekauft?
von rush - Fr 21:08
» Preview auf objektbasierte Maskentools in der Premiere Pro Beta
von slashCAM - Fr 20:27
» Blackmagic DaVinci Resolve Studio ab sofort auch mit monatlicher Lizenz
von Darth Schneider - Fr 20:04
» Setup and forget Kamera für Livestream
von Darth Schneider - Fr 19:17
» Meike EF-L-Mount drop in filter adapter
von rush - Fr 6:56
» Sony TRV730E | VHS Passthrough?
von Jott - Do 23:23
» Neu und kostenlos - Adobe Premiere für iPhone
von slashCAM - Do 15:03
» Kostenlose IFA-Masterclass - Leo Keller über visuelles Storytelling mit der FX2
von Jominator - Do 13:13
» Sammlerstück möchte den Besitzer wechseln
von Jott - Do 11:14
» DR ipad externe SSD einbinden
von Jott - Do 8:56
» Viltrox bringt neues AF 56mm F1.2 Pro - und tritt L-Mount-Allianz bei
von GaToR-BN - Do 4:43
» Konkurrenz für IMAX - Neues HDR-Premiumkinoformat Vue Epic für Europa
von iasi - Mi 20:41
» Regisseur Tarek Ehlail stirbt bei Auto-Unfall
von vaio - Mi 18:34
» Camcorder
von Jott - Mi 16:45
» DJI Osmo Nano - neue modulare Mini-Actioncam kommt am 10. September
von slashCAM - Mi 10:09
» Neue Canon C Line? 9.9.2025
von iasi - Di 23:39
» DRT statt CST in Resolve?
von stip - Di 22:32
» DaVinci Resolve 20 Workshop - Mit der Magic Mask v2 Objekte automatisch freistellen
von scrooge - Di 22:19
» After Effects CS6 und plugin Knoll Light Factory
von Bluboy - Di 18:23
» EIZO ColorEdge CG2400SV - Neuer 24" Produktionsmonitor mit SDI und Farbkalibrierung
von slashCAM - Di 13:30
» A-Dokukamera als Ersatz für Sony DSLM gesucht
von rob - Di 12:06
» Die beste Cine-Kamera 2025 - Wo gibt es die ultimative Bildqualität?
von Darth Schneider - Mo 12:22
» DJI Mic 3 - kompaktes Wireless-Mikrofonsystem mit Adaptive Gain und 32-Bit-Float
von Darth Schneider - Mo 10:23
» Kostenbloser Leitfaden zu neuen Funktionen in Blackmagic Resolve 20.1 und neue Version
von slashCAM - So 13:15
» Pansonic Lumix Lab App 1.6 bringt LUT-Pakete, EXIF-Anzeige & mehr
von slashCAM - So 12:18
» NUR KOPIEN? Wie gut/schlecht ist der deutsche Film?
von 7River - So 11:48
» Neue kompakte RGBWW-Panels von Nanlite - miro 30c und 60c
von Darth Schneider - Sa 21:59
» Blackmagic senkt Preise für URSA Cine 12K und 17k Kits radikal
von iasi - Fr 23:57
» Ein Spaziergang durch das Blühende Barock
von Racun77 - Fr 22:09
» Kinojahr 1999
von rkunstmann - Fr 21:14
» Google Gemini 2.5 Flash Image "Nano Banana" bringt Charakterkonsistenz und Multi-Imag
von berlin123 - Fr 17:50
» Neue Sony FX3 und FX30 Firmware bringt BIG6-Startbildschirm, RAW-Video über HDMI und mehr
von Bildlauf - Fr 14:29
» YouTube experimentiert mit forciertem AI Upscaling / "Verbesserungen"
von 422 - Fr 13:08