Wer sich noch die Mühe macht, in Oldschool-Manier eine Workstation selber zusammenzuschrauben, dürfte momentan bei der GPU-Wahl kaum ins Grübeln kommen. Doch was könnte in der Zukunft wichtig werden, wenn man auch für KI-Aufgaben gut gerüstet sein will?
Kontext: Ich habe eine Maschine mit 2x RTX 3090 & NVLink.
AMD Karten sind noch überhaupt keine Option bei vielen AI-Themen, da dort sehr viel CUDA zum Einsatz kommt.
Eine Änderung sehe ich da die nächsten 1-2 Jahre erstmal nicht.
Dann kommt vielleicht eher noch ein Newcomer wie Tenstorrent auf den Markt für AI Beschleuniger und bietet dann überzeugende Preis-/Leitung und pyTorch Support.
Antwort von macaw:
"Wer sich noch die Mühe macht, in Oldschool-Manier eine Workstation selber zusammenzuschrauben, dürfte bei der GPU-Wahl aktuell kaum ins Grübeln kommen." Warum "noch"? Ausser bei Mac Konsumenten kenne ich nur Leute, die ihren Computer selbst zusammenstellen.
Antwort von marty_mc:
Ein Zuschauer meiner Topaz Video AI Videos hat grad geschrieben, dass er die RTX 4000 hat und diese besser sein soll als z.B. die RTX 4070.
Begründung waren die Tensor Cores.
Antwort von MK:
Keine Ahnung welche Karte der meint, es gibt die 4 Jahre alte Quadro RTX 4000 und die aktuelle RTX A4000 (beides Workstation Karten)... die Quadro RTX 4000 hat Tensor Cores der zweiten Generation, und die A4000 der dritten, was sich von der Geschwindigkeit nicht vergleichen lässt (die 3er sind mit weniger Cores schneller). Generell ist die Optimierung bei Topaz wechselhaft und eher nicht völlig ausgereift, der Unterschied der A4000 zur 4070 ist jedenfalls nicht gigantisch, die RTX 4000 wird aber auf alle Fälle deutlich langsamer sein und hat mit 8 Gigabyte auch recht wenig Speicher für heutige Verhältnisse.
Quadro RTX 4000: 2304 CUDA cores, 288 Tensor Cores, 36 RT cores und 8 GB Speicher
RTX A4000: 6144 CUDA cores, 192 Tensor Cores, 48 RT cores und 16 GB Speicher
RTX 4070: 5888 CUDA cores, 184 Tensor Cores, 46 RT cores und 12 GB Speicher
RTX 4090: 16384 CUDA cores, 512 Tensor Cores, 128 RT cores und 24 GB Speicher
Antwort von marty_mc:
MK hat geschrieben:
Keine Ahnung welche Karte der meint, es gibt die 4 Jahre alte Quadro RTX 4000 und die aktuelle RTX A4000 (beides Workstation Karten)...
Quadro RTX 4000: 2304 CUDA cores, 288 Tensor Cores, 36 RT cores und 8 GB Speicher
Er hat die mit 8Gb und 288 Tensor Cores. Was wohl bei Topaz von Vorteil wäre, sagt er.
Benchmark bei 1920x1080 und Artemis: 1x8,54 fps
Bei meiner GTX 1070 sind es nur: Artemis: 1x1,49fps.
Frage an dich: Macht ein Grafikkarten update bei meinem Rechner noch Sinn oder ist DIESER ein Flaschenhals, so dass bessere Karten nicht viel bringen in Bezug auf Topaz?
Die Frage ist eher, womit du upgraden möchtest. VEAI nuckelt auch gerne viel und oft am Prozessor. Das hängt zum Teil stark von den genutzten codecs, aber auch den Modellen und der Auflösung ab.
Für deinen Prozessor geht eine 3060ti noch klar. Alles darüber wird durch den Prozessor limitiert. Die 3060 ohne ti ist wohl der beste Spielpartner für deinen Prozessor, braucht aber resizable bar. Da bin ich jetzt zu faul, um das rauszufinden, ob es das bei deinem Unterbau schon gab.
MK hat geschrieben:
Keine Ahnung welche Karte der meint, es gibt die 4 Jahre alte Quadro RTX 4000 und die aktuelle RTX A4000 (beides Workstation Karten)...
Quadro RTX 4000: 2304 CUDA cores, 288 Tensor Cores, 36 RT cores und 8 GB Speicher
Er hat die mit 8Gb und 288 Tensor Cores. Was wohl bei Topaz von Vorteil wäre, sagt er.
Benchmark bei 1920x1080 und Artemis: 1x8,54 fps
Bei meiner GTX 1070 sind es nur: Artemis: 1x1,49fps.
Frage an dich: Macht ein Grafikkarten update bei meinem Rechner noch Sinn oder ist DIESER ein Flaschenhals, so dass bessere Karten nicht viel bringen in Bezug auf Topaz?
NVIDIA AI GPU Demand Blows Up, Chip Prices Increase By 40% & Stock Shortages Expected Till December
NVIDIA's GPU business boom has been the result of countless years of betting on AI as the next big thing. With ChatGPT and other generative AI models, it looks like NVIDIA's bets have paid off & the company is getting orders from all corners of the tech industry to get hands on its brand-new GPUs including the A100 and the H100.
Multiple reports are now suggesting that NVIDIA might not be able to keep up with the massive AI chip demand despite its best efforts. A recent report by DigiTimes suggests that as the green team sees a ramp-up in orders for its latest GPUs, the company has started to increase production of its chips at TSMC.
Er hat die mit 8Gb und 288 Tensor Cores. Was wohl bei Topaz von Vorteil wäre, sagt er.
Benchmark bei 1920x1080 und Artemis: 1x8,54 fps
Bei meiner GTX 1070 sind es nur: Artemis: 1x1,49fps.
Frage an dich: Macht ein Grafikkarten update bei meinem Rechner noch Sinn oder ist DIESER ein Flaschenhals, so dass bessere Karten nicht viel bringen in Bezug auf Topaz?
Wieso nicht, so ein Quatsch.
Ich habe meinen gerade erst ausgetauscht, aber nur, weil es mir um h265 geht (über die interne GPU). Mit KI hat der Prozessor ja sowieso nur wenig zu tun.
Man hat mit neueren Prozessoren und damit neueren Boards mehr Bandbreite beim Datendurchsatz zur GPU. Das scheint aber genauso ein theoretischer Mehrwert zu sein, wie die Unterschiede in Benchmarks. Eine Anwendung, die davon profitiert, kenne ich nicht.
