KI Forum



Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von slashCAM »


NVIDIA hat auf der CES 2023 seine neue RTX Video Super Resolution Technologie vorgestellt, mit deren Hilfe Besitzer von GeForce-Grafikkarten der Serien RTX 4000 und 3000 ...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



medienonkel
Beiträge: 725

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?

Glaube ich erst, wenn ich's sehe.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.



tom
Administrator
Administrator
Beiträge: 1488

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von tom »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
slashCAM



dienstag_01
Beiträge: 13572

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von dienstag_01 »

tom hat geschrieben: Mo 09 Jan, 2023 11:34
andieymi hat geschrieben: Mo 09 Jan, 2023 10:42

Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

dienstag_01 hat geschrieben: Mo 09 Jan, 2023 11:57
tom hat geschrieben: Mo 09 Jan, 2023 11:34

Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.
Niemand schließt aus, dass das spezialisierte Hardware besser kann. Aber sowas gibt's jetzt gefühlt 1-2 Jahre, das könnte auch jederzeit als dezidierte Lösung auf einer GPU kommen, das ist kein Argument gegen die GPUs. Im Gegenteil besitzen die GPU-Fertiger (vgl. mit den meisten TV-fertigern) mittlerweile weitaus mehr Erfahrung in komplexem Upscaling.

Für Gaming ist das einfach die Zukunft, wenn die Hardwarehersteller weiter auf 4K+ setzen. Es gibt heute schon kaum mehr Konfigurationen mit GPUs, die überhaupt aktuelle Titel in 4K 120fps rendern können. Bei Rechnern für Schnitt/Grading merkt man den Unterschied FHD/4K Performancemäßig mittlerweile weniger, weil da weniger in Echtzeit passiert, zumindest keine Neuberechnung mit 120 Frames.



medienonkel
Beiträge: 725

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Soweit ich den Artikel verstanden habe, geht es um das Hochskalieren von Video im Browser. Also exakt das, was auch im Fernseher passiert.

Jedes Display muss nicht native Auflösung skalieren. Das 1080p Video muss ja auf UHD aufgeblasen werden. Und umgekehrt. Im simpelsten Fall tatsächlich durch Verfierfachung der Pixel. (nearest neighbour)

Selbstverständlich läuft das auf hochspezialisierten DSPs, die ohne Probleme in Echtzeit laufen. Halt fest in Hardware gegossen.
Der große Nachteil dieser Lösungen ist natürlich die nicht vorhandene Programmierbarkeit.

Mit dem Performancegewinn durch DLSS (Spiel in niedriger Auflösung rendern und per AI Hochskalieren) hat das erstmal nichts zu tun, da es hier um höhere fps geht, die in Echtzeit gerendert werden müssen.

Video liegt ja schon fertig vor.

Interessant wird KI Skalierung ja erst bei möglichst schlechtem Ausgangsmaterial. Kompressionsartefakte lassen sich sehr schön rausrechnen, da hier ja ein erlernbarer Prozess dahinter steckt.



MK
Beiträge: 4264

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von MK »

NVIDIA hat in den neuesten Treibern RTX Video HDR hinzugefügt womit man sich in Browsern auf Chromium Basis (Chrome, Edge, etc.) Videos AI-unterstützt von SDR nach HDR wandeln lassen kann (HDR Monitor vorausgesetzt). RTX Video HDR und RTX Video Super Resolution sind zeitgleich nutzbar.

https://blogs.nvidia.com/blog/rtx-video ... io-driver/



 Aktuelle Beiträge [alle Foren]
 
» Blackmagic Cinema Camera 6K Sensor Test - Rolling Shutter, Debayering und Dynamik
von MrMeeseeks - Di 23:39
» Blackmagic PYXIS 6K: Die Vollformat „Box“-Kamera mit Viewfinder, 2x SDI, Sideplates (!) uvm.
von Mantas - Di 23:35
» DJI RS4 Pro und LiDAR: Bestes AF/Tracking (inkl. Stabilisierung) für Cine-Setups?
von -paleface- - Di 22:51
» Was schaust Du gerade?
von markusG - Di 22:40
» HDD Gehäuse ohne Netzteil?
von klusterdegenerierung - Di 22:13
» Können KI-generierte Bilder, Klänge und Videos von jedermann frei genutzt werden?
von Frank Glencairn - Di 20:13
» Blackmagic Pyxis PL - Kaufberatung
von ChrisDiCesare - Di 18:45
» DaVinci Resolve 19 Public-Beta 2 zum freien Download verfügbar
von Darth Schneider - Di 18:23
» Apple stellt neue Final Cut Pro Versionen für iPad und Mac vor
von slashCAM - Di 18:00
» FCP 10.8 + "Final Cut Camera" App fürs iPhone
von R S K - Di 17:37
» iPad Pro und Air jetzt auch mit OLED und M4-Prozessor von 699 bis 3.100 Euro
von slashCAM - Di 17:36
» Apple Vision Pro - Bereits nachlassende Nachfrage in den USA?
von markusG - Di 16:48
» Erster Trailer zu Francis Ford Coppolas Megalopolis erschienen
von iasi - Di 15:40
» Peinlichkeiten auf der Leinwand: 10 Filme, die 2024 nicht mehr veröffentlicht werden könnten
von macaw - Di 14:59
» Nikon Nikkor Ai 24mm 2.8
von thsbln - Di 13:44
» Heinz Hoenig Spendenaktion
von Bluboy - Di 11:51
» Insta360 X4 vs. GoPro Max 2 (gibt es noch Hoffnung?)
von thn80 - Di 11:24
» DIY Heltec LoRa32 V3 Spielereien
von ruessel - Di 10:20
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Di 2:17
» Rundfunkgebühren-Erhöhung
von DKPost - Mo 20:36
» Canon USA startet Teaser Kampagne – EOS R5 Mark II kurz vor offizieller Vorstellung?
von iasi - Mo 16:01
» Kooperation: Digitalschnittmesse und camgaroo film festival im ARRI-Kino
von slashCAM - Mo 13:54
» AllROUNDER oder nicht? Müssen sich Filmemacher spezialisieren?
von Nigma1313 - Mo 13:27
» externe Aufnahme Sony Alpha 73
von cantsin - Mo 9:56
» Kamera Kaufberatung Budget ca. 2000€
von aidualk - Mo 9:05
» MagicYUV Fehler
von TinyChris - Mo 0:22
» Windschutz für DPA 4560?
von berlin123 - So 20:26
» Lumix G9 II und GH 6 Sensor
von micha2305 - So 18:45
» Hollyland Pyro H 4K: HDMI Videofunkstrecke sendet an bis zu vier Empfänger
von slashCAM - So 14:18
» BIETE : Sony CFexpress 256 GB Typ B TOUGH R1700/W1480
von FocusPIT - So 13:21
» Was hast Du zuletzt gekauft?
von ruessel - So 9:56
» RED ist nun eine Nikon-Tochter - und Jarred Land abgesetzt
von iasi - Sa 15:49
» Windows 10 gewinnt weiter Marktanteile gegenüber Windows 11
von Hayos - Sa 14:42
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von MK - Sa 14:20
» Bild und ton im Livestream nicht sychron
von Blackbox - Sa 13:32