KI Forum



Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11279

Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von slashCAM »


NVIDIA hat auf der CES 2023 seine neue RTX Video Super Resolution Technologie vorgestellt, mit deren Hilfe Besitzer von GeForce-Grafikkarten der Serien RTX 4000 und 3000 ...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



medienonkel
Beiträge: 935

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?

Glaube ich erst, wenn ich's sehe.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.



tom
Administrator
Administrator
Beiträge: 1520

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von tom »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
slashCAM



dienstag_01
Beiträge: 14493

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von dienstag_01 »

tom hat geschrieben: Mo 09 Jan, 2023 11:34
andieymi hat geschrieben: Mo 09 Jan, 2023 10:42

Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

dienstag_01 hat geschrieben: Mo 09 Jan, 2023 11:57
tom hat geschrieben: Mo 09 Jan, 2023 11:34

Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.
Niemand schließt aus, dass das spezialisierte Hardware besser kann. Aber sowas gibt's jetzt gefühlt 1-2 Jahre, das könnte auch jederzeit als dezidierte Lösung auf einer GPU kommen, das ist kein Argument gegen die GPUs. Im Gegenteil besitzen die GPU-Fertiger (vgl. mit den meisten TV-fertigern) mittlerweile weitaus mehr Erfahrung in komplexem Upscaling.

Für Gaming ist das einfach die Zukunft, wenn die Hardwarehersteller weiter auf 4K+ setzen. Es gibt heute schon kaum mehr Konfigurationen mit GPUs, die überhaupt aktuelle Titel in 4K 120fps rendern können. Bei Rechnern für Schnitt/Grading merkt man den Unterschied FHD/4K Performancemäßig mittlerweile weniger, weil da weniger in Echtzeit passiert, zumindest keine Neuberechnung mit 120 Frames.



medienonkel
Beiträge: 935

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Soweit ich den Artikel verstanden habe, geht es um das Hochskalieren von Video im Browser. Also exakt das, was auch im Fernseher passiert.

Jedes Display muss nicht native Auflösung skalieren. Das 1080p Video muss ja auf UHD aufgeblasen werden. Und umgekehrt. Im simpelsten Fall tatsächlich durch Verfierfachung der Pixel. (nearest neighbour)

Selbstverständlich läuft das auf hochspezialisierten DSPs, die ohne Probleme in Echtzeit laufen. Halt fest in Hardware gegossen.
Der große Nachteil dieser Lösungen ist natürlich die nicht vorhandene Programmierbarkeit.

Mit dem Performancegewinn durch DLSS (Spiel in niedriger Auflösung rendern und per AI Hochskalieren) hat das erstmal nichts zu tun, da es hier um höhere fps geht, die in Echtzeit gerendert werden müssen.

Video liegt ja schon fertig vor.

Interessant wird KI Skalierung ja erst bei möglichst schlechtem Ausgangsmaterial. Kompressionsartefakte lassen sich sehr schön rausrechnen, da hier ja ein erlernbarer Prozess dahinter steckt.



MK
Beiträge: 4426

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von MK »

NVIDIA hat in den neuesten Treibern RTX Video HDR hinzugefügt womit man sich in Browsern auf Chromium Basis (Chrome, Edge, etc.) Videos AI-unterstützt von SDR nach HDR wandeln lassen kann (HDR Monitor vorausgesetzt). RTX Video HDR und RTX Video Super Resolution sind zeitgleich nutzbar.

https://blogs.nvidia.com/blog/rtx-video ... io-driver/



 Aktuelle Beiträge [alle Foren]
 
» Sony RX1R III mit Vollformat und 35mm Fixoptik vorgestellt, filmt in 4K
von cantsin - Fr 13:45
» Nikon Z5 II im slashCam-Check: Fullframe-Hybrid für Einsteiger-Filmer
von Bruno Peter - Fr 12:48
» Formate für Medien
von stip - Fr 12:46
» Nikon patentiert HDMI RAW RGGB Ausgabe - eingebettet in YUV-Streams
von CameraRick - Fr 12:06
» Was hast Du zuletzt gekauft?
von rush - Fr 9:34
» Was schaust Du gerade?
von roki100 - Fr 1:01
» Stone, Antonioni, Greenaway und Zapruder
von Darth Schneider - Do 22:34
» GoPro MAX 2 gesichtet und DJI Osmo 360 komplett geleakt
von Clemens Schiesko - Do 19:45
» WhoFi - Neue KI kann Personen nur per WLAN-Signal identifizieren
von philr - Do 18:58
» Alien: Romulus - Teaser Trailer online - produziert von Ridley Scott, gedreht auf Alexa 35
von Darth Schneider - Do 18:17
» Bekommt DJI bald neue Drohnen-Konkurrenz?
von medienonkel - Do 18:00
» Kameras mit "Extended Video" wie bei Blackmagic
von Axel - Do 15:13
» Resolve rückstandslos vom Rechner entfernen.
von Jörg - Do 14:39
» Musikvideo „Trust“ Insta 360
von Magnetic - Do 13:36
» Wmv Video kein Ton auf Handy, welcher Codec?
von popaj - Do 12:54
» Aputure STORM 400x: Wetterfeste 400W LED mit ProLock Bowens-Mount
von Rockcrusher - Do 11:28
» Drastische Preissenkung bei Intel Mainstream-CPU - Core Ultra 7 265KF unter 300 Euro
von Jörg - Do 11:12
» Licht how to:
von Darth Schneider - Do 10:57
» Mal etwas zum Anschauen
von gammanagel - Do 10:38
» Neues Blackmagic Design Media Module 16 TB für URSA Cine Kameras
von slashCAM - Do 10:06
» Sony PXW-Z300 3-Chip-Camcorder vorgestellt mit V-Mount, KI, C2PA
von pixelschubser2006 - Do 8:04
» Was hörst Du gerade?
von Bluboy - Mi 10:35
» Neuer Atomos Ninja TX Monitor-Recorder - leichter, heller, vielseitiger
von slashCAM - Mi 9:18
» Portkeys LS7P - 7"-On-Camera-Monitor mit integrierter Kamerasteuerung
von DKPost - Mi 8:35
» >Der LED Licht Thread<
von Rockcrusher - Mi 8:29
» Motor Smart: Intelligenter AutoFocus-Motor von PDMovie nutzt LiDAR und KI
von roki100 - Mi 1:47
» Linsen (Vintage, Anamorphic & Co.)
von roki100 - Di 21:20
» Hollyland Lark Max 2: extrem kleines Funkmikro
von rush - Di 20:00
» Camera (Camcorder?) als Hauptkamera für YouTube gesucht
von RalRam - Di 18:42
» Theateraufführung - wie Ton abgreifen?
von Darth Schneider - Di 17:22
» Nanlite lumo - Einklappbares Ringlicht für Smartphone Creator
von Alex - Di 16:09
» Erste KI-generierte Footage in einer Netflix Original Serie
von slashCAM - Di 10:36
» Iphone 15- 4K Video in 60p Kino Modus uvm
von Axel - Mo 21:21
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von blueplanet - Mo 20:39
» Olympus OM-D E-M5 Mark II OVP incl. Meike 28mm/2.8
von thsbln - Mo 20:20