Welche Grafikkarte für eine KI-Video Workstation? Nvidia RTX4090 oder Radeon Pro W7900?

[slashCAM]

Wer sich noch die Mühe macht, in Oldschool-Manier eine Workstation selber zusammenzuschrauben, dürfte momentan bei der GPU-Wahl kaum ins Grübeln kommen. Doch was könnte in der Zukunft wichtig werden, wenn man auch für KI-Aufgaben gut gerüstet sein will?



Hier geht es zu Artikel auf den slashCAM Magazin-Seiten:
Ratgeber: Welche Grafikkarte für eine KI-Video Workstation? Nvidia RTX4090 oder Radeon Pro W7900?

[Totao]

Kontext: Ich habe eine Maschine mit 2x RTX 3090 & NVLink.
AMD Karten sind noch überhaupt keine Option bei vielen AI-Themen, da dort sehr viel CUDA zum Einsatz kommt.
Eine Änderung sehe ich da die nächsten 1-2 Jahre erstmal nicht.
Dann kommt vielleicht eher noch ein Newcomer wie Tenstorrent auf den Markt für AI Beschleuniger und bietet dann überzeugende Preis-/Leitung und pyTorch Support.

[macaw]

"Wer sich noch die Mühe macht, in Oldschool-Manier eine Workstation selber zusammenzuschrauben, dürfte bei der GPU-Wahl aktuell kaum ins Grübeln kommen." Warum "noch"? Ausser bei Mac Konsumenten kenne ich nur Leute, die ihren Computer selbst zusammenstellen.

[marty_mc]

Ein Zuschauer meiner Topaz Video AI Videos hat grad geschrieben, dass er die RTX 4000 hat und diese besser sein soll als z.B. die RTX 4070.
Begründung waren die Tensor Cores.

[MK]

Keine Ahnung welche Karte der meint, es gibt die 4 Jahre alte Quadro RTX 4000 und die aktuelle RTX A4000 (beides Workstation Karten)... die Quadro RTX 4000 hat Tensor Cores der zweiten Generation, und die A4000 der dritten, was sich von der Geschwindigkeit nicht vergleichen lässt (die 3er sind mit weniger Cores schneller). Generell ist die Optimierung bei Topaz wechselhaft und eher nicht völlig ausgereift, der Unterschied der A4000 zur 4070 ist jedenfalls nicht gigantisch, die RTX 4000 wird aber auf alle Fälle deutlich langsamer sein und hat mit 8 Gigabyte auch recht wenig Speicher für heutige Verhältnisse.

Quadro RTX 4000: 2304 CUDA cores, 288 Tensor Cores, 36 RT cores und 8 GB Speicher

RTX A4000: 6144 CUDA cores, 192 Tensor Cores, 48 RT cores und 16 GB Speicher

RTX 4070: 5888 CUDA cores, 184 Tensor Cores, 46 RT cores und 12 GB Speicher

RTX 4090: 16384 CUDA cores, 512 Tensor Cores, 128 RT cores und 24 GB Speicher

[marty_mc]

Keine Ahnung welche Karte der meint, es gibt die 4 Jahre alte Quadro RTX 4000 und die aktuelle RTX A4000 (beides Workstation Karten)...

Quadro RTX 4000: 2304 CUDA cores, 288 Tensor Cores, 36 RT cores und 8 GB Speicher

Er hat die mit 8Gb und 288 Tensor Cores. Was wohl bei Topaz von Vorteil wäre, sagt er.
Benchmark bei 1920x1080 und Artemis: 1x8,54 fps

Bei meiner GTX 1070 sind es nur: Artemis: 1x1,49fps.

Frage an dich: Macht ein Grafikkarten update bei meinem Rechner noch Sinn oder ist DIESER ein Flaschenhals, so dass bessere Karten nicht viel bringen in Bezug auf Topaz?

Mein Rechner:
OS: Windows v10.2009
CPU: Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz 31.913 GB
GPU: NVIDIA GeForce GTX 1070 7.8984 GB

[medienonkel]

Die Frage ist eher, womit du upgraden möchtest. VEAI nuckelt auch gerne viel und oft am Prozessor. Das hängt zum Teil stark von den genutzten codecs, aber auch den Modellen und der Auflösung ab.

Für deinen Prozessor geht eine 3060ti noch klar. Alles darüber wird durch den Prozessor limitiert. Die 3060 ohne ti ist wohl der beste Spielpartner für deinen Prozessor, braucht aber resizable bar. Da bin ich jetzt zu faul, um das rauszufinden, ob es das bei deinem Unterbau schon gab.

Grobe Aussagen mit Bezugnahme auf
https://pc-builds.com/de/bottleneck-calculator/

[Bluboy]

Keine Ahnung welche Karte der meint, es gibt die 4 Jahre alte Quadro RTX 4000 und die aktuelle RTX A4000 (beides Workstation Karten)...

Quadro RTX 4000: 2304 CUDA cores, 288 Tensor Cores, 36 RT cores und 8 GB Speicher

Er hat die mit 8Gb und 288 Tensor Cores. Was wohl bei Topaz von Vorteil wäre, sagt er.
Benchmark bei 1920x1080 und Artemis: 1x8,54 fps

Bei meiner GTX 1070 sind es nur: Artemis: 1x1,49fps.

Frage an dich: Macht ein Grafikkarten update bei meinem Rechner noch Sinn oder ist DIESER ein Flaschenhals, so dass bessere Karten nicht viel bringen in Bezug auf Topaz?

Mein Rechner:
OS: Windows v10.2009
CPU: Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz 31.913 GB
GPU: NVIDIA GeForce GTX 1070 7.8984 GB

Recht weit kommt man mit dem I7-6700 nicht mehr.

https://www.cpubenchmark.net/cpu.php?cp ... Hz&id=2598

[Frank Glencairn]

NVIDIA AI GPU Demand Blows Up, Chip Prices Increase By 40% & Stock Shortages Expected Till December

NVIDIA's GPU business boom has been the result of countless years of *** on AI as the next big thing. With ChatGPT and other generative AI models, it looks like NVIDIA's bets have paid off & the company is getting orders from all corners of the tech industry to get hands on its brand-new GPUs including the A100 and the H100.

Multiple reports are now suggesting that NVIDIA might not be able to keep up with the massive AI chip demand despite its best efforts. A recent report by DigiTimes suggests that as the green team sees a ramp-up in orders for its latest GPUs, the company has started to increase production of its chips at TSMC.

https://wccftech.com/nvidia-ai-gpu-dema ... -december/

[dienstag_01]

Er hat die mit 8Gb und 288 Tensor Cores. Was wohl bei Topaz von Vorteil wäre, sagt er.
Benchmark bei 1920x1080 und Artemis: 1x8,54 fps

Bei meiner GTX 1070 sind es nur: Artemis: 1x1,49fps.

Frage an dich: Macht ein Grafikkarten update bei meinem Rechner noch Sinn oder ist DIESER ein Flaschenhals, so dass bessere Karten nicht viel bringen in Bezug auf Topaz?

Mein Rechner:
OS: Windows v10.2009
CPU: Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz 31.913 GB
GPU: NVIDIA GeForce GTX 1070 7.8984 GB

Recht weit kommt man mit dem I7-6700 nicht mehr.

https://www.cpubenchmark.net/cpu.php?cp ... Hz&id=2598

Wieso nicht, so ein Quatsch.
Ich habe meinen gerade erst ausgetauscht, aber nur, weil es mir um h265 geht (über die interne GPU). Mit KI hat der Prozessor ja sowieso nur wenig zu tun.

Man hat mit neueren Prozessoren und damit neueren Boards mehr Bandbreite beim Datendurchsatz zur GPU. Das scheint aber genauso ein theoretischer Mehrwert zu sein, wie die Unterschiede in Benchmarks. Eine Anwendung, die davon profitiert, kenne ich nicht.