KI Forum



Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11279

Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von slashCAM »


NVIDIA hat auf der CES 2023 seine neue RTX Video Super Resolution Technologie vorgestellt, mit deren Hilfe Besitzer von GeForce-Grafikkarten der Serien RTX 4000 und 3000 ...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



medienonkel
Beiträge: 934

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?

Glaube ich erst, wenn ich's sehe.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.



tom
Administrator
Administrator
Beiträge: 1520

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von tom »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
slashCAM



dienstag_01
Beiträge: 14491

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von dienstag_01 »

tom hat geschrieben: Mo 09 Jan, 2023 11:34
andieymi hat geschrieben: Mo 09 Jan, 2023 10:42

Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

dienstag_01 hat geschrieben: Mo 09 Jan, 2023 11:57
tom hat geschrieben: Mo 09 Jan, 2023 11:34

Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.
Niemand schließt aus, dass das spezialisierte Hardware besser kann. Aber sowas gibt's jetzt gefühlt 1-2 Jahre, das könnte auch jederzeit als dezidierte Lösung auf einer GPU kommen, das ist kein Argument gegen die GPUs. Im Gegenteil besitzen die GPU-Fertiger (vgl. mit den meisten TV-fertigern) mittlerweile weitaus mehr Erfahrung in komplexem Upscaling.

Für Gaming ist das einfach die Zukunft, wenn die Hardwarehersteller weiter auf 4K+ setzen. Es gibt heute schon kaum mehr Konfigurationen mit GPUs, die überhaupt aktuelle Titel in 4K 120fps rendern können. Bei Rechnern für Schnitt/Grading merkt man den Unterschied FHD/4K Performancemäßig mittlerweile weniger, weil da weniger in Echtzeit passiert, zumindest keine Neuberechnung mit 120 Frames.



medienonkel
Beiträge: 934

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Soweit ich den Artikel verstanden habe, geht es um das Hochskalieren von Video im Browser. Also exakt das, was auch im Fernseher passiert.

Jedes Display muss nicht native Auflösung skalieren. Das 1080p Video muss ja auf UHD aufgeblasen werden. Und umgekehrt. Im simpelsten Fall tatsächlich durch Verfierfachung der Pixel. (nearest neighbour)

Selbstverständlich läuft das auf hochspezialisierten DSPs, die ohne Probleme in Echtzeit laufen. Halt fest in Hardware gegossen.
Der große Nachteil dieser Lösungen ist natürlich die nicht vorhandene Programmierbarkeit.

Mit dem Performancegewinn durch DLSS (Spiel in niedriger Auflösung rendern und per AI Hochskalieren) hat das erstmal nichts zu tun, da es hier um höhere fps geht, die in Echtzeit gerendert werden müssen.

Video liegt ja schon fertig vor.

Interessant wird KI Skalierung ja erst bei möglichst schlechtem Ausgangsmaterial. Kompressionsartefakte lassen sich sehr schön rausrechnen, da hier ja ein erlernbarer Prozess dahinter steckt.



MK
Beiträge: 4426

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von MK »

NVIDIA hat in den neuesten Treibern RTX Video HDR hinzugefügt womit man sich in Browsern auf Chromium Basis (Chrome, Edge, etc.) Videos AI-unterstützt von SDR nach HDR wandeln lassen kann (HDR Monitor vorausgesetzt). RTX Video HDR und RTX Video Super Resolution sind zeitgleich nutzbar.

https://blogs.nvidia.com/blog/rtx-video ... io-driver/



 Aktuelle Beiträge [alle Foren]
 
» Was hast Du zuletzt gekauft?
von Jörg - So 14:16
» Illusionen
von manfred52 - So 11:53
» BMD Production Camera 4k in 2025?
von Darth Schneider - Sa 17:22
» Sollte ich das Firmware updat bei meiner EOS R8 durchführen?
von walang_sinuman - Sa 14:37
» Manueller Focus mit Darstellung der Entfernung in Metern?
von Jörg - Sa 13:40
» Accsoon CineView M7 Pro - smarter SDI/HDMI Funkmonitor
von slashCAM - Sa 11:33
» Biete: Tentacle Sync O.G. Timecode Generatoren
von pillepalle - Sa 10:41
» Gimbal Panasonic s5 ii
von Darth Schneider - Sa 5:23
» Werbung - es geht auch gut ;) Sammelthread
von Bluboy - Fr 17:59
» RØDE verschenkt neuen Wireless Micro Kameraempfänger als Upgrade
von slashCAM - Fr 12:27
» DJI Mini 5 Pro kommt in 5 Wochen - mit 50 Min Flugzeit und LiDAR
von blueplanet - Fr 12:10
» Seagates 30 TB HAMR-Festplatten ab sofort im Handel frei erhätlich
von slashCAM - Fr 9:30
» AV1 Codec in Premiere
von Bluboy - Do 19:19
» Sigma 17-40mm F1.8 DC ART an Sony FX30 und DJI RS4 Mini im Praxistest / Teil 1
von rush - Do 17:46
» Nanlite pico - neues, kompaktes Vollfarben-LED-Panel für die mobile Videoproduktion
von Alex - Do 17:02
» Neu in Adobe Firefly - Sound Effects, Kompositionsvorlagen und mehr
von slashCAM - Do 15:36
» ACHTUNG WETRANSFER!
von rush - Do 14:02
» DaVinci Resolve 20 Workshop - AI Depth Map unkompliziert für Titel-Effekte nutzen
von speedy gonzales - Do 13:58
» DJI Mavic 4 Pro in der Praxis: 10Bit 6K 50p Log, 360° Gimbal – für wen lohnt sich die C2 Drohne?
von wind1414 - Do 10:28
» Neue Lexar NM990 PCIe 5.0 SSD liest Daten mit bis zu 14.000 MB/s
von slashCAM - Do 10:24
» DJIs Mic 3 Funkmikro kommt bald zusammen mit der Osmo 360 Kamera
von tom - Do 10:10
» Panasonic LUMIX S1II im Praxistest: Beste Video-DSLM ihrer Klasse Dank 5.1K Open Gate u. hohem DR?
von radneuerfinder - Mi 23:20
» Licht how to:
von Darth Schneider - Mi 22:23
» Sony ECM-778 - neues XLR-Richtmikrofon mit Hi-Res Audio für Profis
von TomStg - Mi 19:39
» Biete: Tascam DR-10C Mini Rekorder
von pillepalle - Mi 18:17
» Biete: Fuji X-E1 Body - 16,3MP APS-C
von pillepalle - Mi 18:10
» Nikon Z f Vollformat DSLM im Retro-Look (FM2) für 2.499,- Euro vorgestellt: 24MP Sensor, 4K 10 Bit 60p …
von Funless - Mi 16:36
» Neue Nikon Z8 Firmware 3.01 soll Objektiv-Kompatibilität verbessern
von slashCAM - Mi 15:21
» Konkurrenz für IMAX - Neues HDR-Premiumkinoformat Vue Epic für Europa
von dienstag_01 - Mi 14:13
» Panasonic LUMIX S1II und S1IIE für Videofilmer - bis zu 15 Blendenstufen und ARRI Log
von roki100 - Mi 12:44
» Zwei leichte Samyang Prima-Objektive (16mm / 85mm) für Sony E vorgestellt
von slashCAM - Mi 10:12
» Vorsicht, Crew United Abo Falle!!
von hannaern - Mi 9:48
» RØDE Wireless Micro: Ab sofort auch kabellose iPhone-Aufnahme ohne Empfänger
von Blackbox - Di 17:46
» Zoom M3 Mictrak Erfahrungen?
von Jörg - Di 15:46
» Social Media, KI & Co. - Neue Gefährdungslagen für die Meinungsvielfalt
von Blackbox - Di 15:46