Die beste Hardware für KI-Video - oder was man wirklich (nicht) braucht...

[slashCAM]

Wer die Entwicklung aktueller Video-KI-Modelle verfolgt, sieht fast jeden Tag neue Sensationen. Da liegt es nahe, auch einmal selbst Hand anzulegen, um eigene Erfahrungen mit der neuen Technologie zu sammeln.



Hier geht es zu Artikel auf den slashCAM Magazin-Seiten:
Ratgeber: Die beste Hardware für KI-Video - oder was man wirklich (nicht) braucht...

[freezer]

Die Preise für die Nvidia RTX A6000er Serie haben mit der Realität wohl eh nix mehr am Hut.
Meine RTX A6000 aus der 3090er Generation hat 5.500 gekostet, das Nachfolgemodell RTX A6000 Ada bereits 8.500 und jetzt will Nvidia 12.000 Euro?

[MarcusG]

Danke für diesen Artikel, genau darüber habe ich mir schon seit längerem Gedanken gemacht, ob sich eine Investition in eigene KI Hardware überhaupt lohnt

[blindcat]

Naja. Wenn eine Cloud nicht schön ist, wechsel ich zur nächsten. So sorglos seine Daten zu verschleudern ist sicherlich ein Zeitgeist Phänomen, aber für mich einfach unannehmbar.
Ich versuche es derzeit lokal und zB Wan 2.1 zeigt, dass es auch mit einer 3090 mit 24 GB lokal sehr gut funktioniert (neben allerlei anderen lokalen KI-Anwendungen für alle möglichen Zwecke).
Das Upgrade auf 32 GB im "Gamer" Markt und 48 oder 96 GB im Workstation Markt ist natürlich kontraproduktiv und sorgt nicht gerade für Druck bei der Entwicklung speichersparender Modelle. Die 3090 ist noch dazu eigentlich längst drüber beim Stromverbrauch. Die 4xxx und 5xxx kommmen mir vor allem aus diesem Grund nicht ins Haus. Und die von freezer genannte Preisentwicklung ... sollte den Markt eigentlich zu Reaktionen bewegen. Da aber scheinbar alle nur noch nach dem Vorbild eines irrationalen Staatenlenkers handeln, wird sich da wohl nix tun.
In den Cloud Topf zahle ich aus allen in Frage kommenden Gründen jedenfalls nicht ein. Es geht auch lokal. Existierende Modelle zeigen das. Man müsste "nur" fortentwickeln.
Vielleicht wäre das nun doch der richtige Zeitpunkt für AMD? Da müssten aber fleissige Treiber und Bibliothekentwickler Überstunden gemacht haben ...
So machts keinen Spaß,
Frankie

[Totao]

Komisch, dass der Artikel nicht den gängigen DIY Ansatz bei KI-PCs erwähnt: Man kauft gebrauchte RTX 3090 mit 24GB VRAM und steckt diese in einen PC. Vom Preis-/Leistungsverhältnix kaum zu toppen (Kosten ca. 700€ pro Stück, seit 3 Jahren preisstabil).

In einen gewöhnlichen PC passen zwei dieser Grafikkarten (gute Belüftung vorausgesetzt). Man sollte darauf achten, dass das Mainboard zwei PCIe x16 Slots mit jeweils elektrisch x8 betreiben kann. Das ist meist nur bei den besseren teureren Mainboards der Fall. Geizhals.de hilft mit den Filtermöglichkeiten weiter bei der Suche nach einem geeigneten Motherboard. Mit 48GB VRAM ist das vermutlich der derzeitige Sweetspot.

Wer mehr als zwei GPUs in den PC stecken möchte, muss allmählich auf die Workstation- oder Server-Mainboards ausweichen, die dafür genügend PCIe Lanes bereitstellen. Dann wird es deutlich teurer - nicht nur beim Mainboard, auch bei der CPU.
Außerdem bleibt das Platzproblem: Eine typische RTX 3090 ist 3 Slots breit und die Mainboards haben maximal 7 Slots. Wenn man ein großes Gehäuse mit 9 Slots Platz besorgt, kann man also gerade mal drei 3-Slot-Karten ins Mainboard stecken.
Wenn das noch nicht reicht muss mit PCIe-Extendern gearbeitet werden (oder Wasserkühlung). Dann steigen auch die Chancen, dass das Ganze nicht mehr in ein geschlossenes PC-Gehäuse passt, sondern eher wie ein Mining-Konstrukt aussieht. Mehrere Netzteile inklusive.
Je RTX3090 steigt dann das verfügbare VRAM um 24GB an.

[Frank Glencairn]

So sorglos seine Daten zu verschleudern ist sicherlich ein Zeitgeist Phänomen, aber für mich einfach unannehmbar.

Der Zug ist eigentlich bereits abgefahren, in dem Moment, wo du ein Handy hast.

Und selbst dann ..

Ich bin ja gerade von einer USA Produktion zurück.
Die automatische Gesichtserkennung langt mittlerweile am Flughafen für alles - dein Ticket, dein Ziel, alle deine persönlichen Daten sind alle bereits lange verknüpft und gespeichert, bevor du die Reise überhaupt antrittst.

Gesicht scannen - bleeep - und du darfst rein.
Sogar mit persönlicher Note des Homeland Security Officers: "Have a nice trip Frank".

Es wird langsam Zeit sich selbst mal endlich einzugestehen, daß so genannter "Datenschutz" im Jahre 2025, nur noch in den Träumen von hoffnungslosen Romantikern existiert, und vor allem ist es schon lange nicht mehr optional.

In so fern ist es mir mittlerweile ehrlich gesagt ziemlich Schnuppe, ob irgendeine "Cloud" meine Daten zum dritten oder vierten mal bekommt, die hat sowieso schon jeder mindestens ein mal.

[freezer]

Komisch, dass der Artikel nicht den gängigen DIY Ansatz bei KI-PCs erwähnt: Man kauft gebrauchte RTX 3090 mit 24GB VRAM und steckt diese in einen PC. Vom Preis-/Leistungsverhältnix kaum zu toppen (Kosten ca. 700€ pro Stück, seit 3 Jahren preisstabil).

In einen gewöhnlichen PC passen zwei dieser Grafikkarten (gute Belüftung vorausgesetzt). Man sollte darauf achten, dass das Mainboard zwei PCIe x16 Slots mit jeweils elektrisch x8 betreiben kann. Das ist meist nur bei den besseren teureren Mainboards der Fall. Geizhals.de hilft mit den Filtermöglichkeiten weiter bei der Suche nach einem geeigneten Motherboard. Mit 48GB VRAM ist das vermutlich der derzeitige Sweetspot.

Wer mehr als zwei GPUs in den PC stecken möchte, muss allmählich auf die Workstation- oder Server-Mainboards ausweichen, die dafür genügend PCIe Lanes bereitstellen. Dann wird es deutlich teurer - nicht nur beim Mainboard, auch bei der CPU.
Außerdem bleibt das Platzproblem: Eine typische RTX 3090 ist 3 Slots breit und die Mainboards haben maximal 7 Slots. Wenn man ein großes Gehäuse mit 9 Slots Platz besorgt, kann man also gerade mal drei 3-Slot-Karten ins Mainboard stecken.
Wenn das noch nicht reicht muss mit PCIe-Extendern gearbeitet werden (oder Wasserkühlung). Dann steigen auch die Chancen, dass das Ganze nicht mehr in ein geschlossenes PC-Gehäuse passt, sondern eher wie ein Mining-Konstrukt aussieht. Mehrere Netzteile inklusive.
Je RTX3090 steigt dann das verfügbare VRAM um 24GB an.

Du kannst den GPU Speicher nicht einfach addieren.

[blindcat]

@Frank: Ich glaube schon, dass Datensparsamkeit noch etwas bringt. Und ja, es bringt auch Einschränkungen. Tagesfüllendes anderes Thema :-)

@freezer: Mit NVLink geht das nicht? Ich dachte immer. Hab ich aber nicht im Betrieb und nicht im Plan, weil mir ja schon der Stromverbrauch einer Karte zu hoch ist.

[rudi]

Tatsächlich ist NVLInk noch die Wildcard für ein Multi-RTX 3090 Setup. Wenn ich es richtig im Kopf habe, liegt da die Interconnect-Geschwindigkeit in dieser Generation bei ca. 100 GB/s. In manchen KI-Modellen kann man die Inference ziemlich gut auf mehrere Karten verteilen, ohne, dass sie einen besonders schnellen Interconnect benötigen. Beim Training ist eine schnelle Verbindung zischen den GPUs dagegen meistens sehr wichtig. Und da sind 100GB/s auch nicht mehr so auf der Höhe der Zeit.
Und tatsächlich kommt dann auch noch der Stromverbrauch ins Spiel. So ein Dual RTX 3090 GPU Setup ist schnell mal 1 Kw, d.h. mindestens 30 Cent Stromkosten hierzulande, eher mehr. Dafür kann man schon kleine GPUs im Netz mieten.
Und zum Vergleich: Bei VAST.ai gibts immer wieder eine H200 für ca. 3 Euro/Stunde. Und die hat 140 GB Speicher mit 4TB/s!. Sowas macht dann deutlich mehr Spaß. Aber diese Leistung kauft man noch besser bei jemandem der dir gleich ein KI-Video-Modell als Service anbietet, dann zahlst du nicht pro Stunde, sondern pro Prompt, und das lässt sich theoretisch dann noch viel billiger anbieten, wenn die Auslastung hoch ist.

[Frank Glencairn]

[Totao]

Du kannst den GPU Speicher nicht einfach addieren.

Doch, was Inferenz von LLMs angeht so lassen die (genauer: deren Layer) sich gut aus mehrere GPUs verteilen, auch ohne NVLink übrigens. Das geht mit Ollama und vLLM direkt ohne weiteres zutun. Aber PCIe 4.0 x8 ist schon nicht verkehrt. Ich habe da Erfahrung aus erster Hand.

Nur für Training und Finetuning von LLMs braucht man die ordentliche Bandbreite zwischen den GPUs, da hilft dann NVLink wirklich signifikant.

[Drushba]

Du kannst den GPU Speicher nicht einfach addieren.

Doch, was Inferenz von LLMs angeht so lassen die (genauer: deren Layer) sich gut aus mehrere GPUs verteilen, auch ohne NVLink übrigens. Das geht mit Ollama und vLLM direkt ohne weiteres zutun. Aber PCIe 4.0 x8 ist schon nicht verkehrt. Ich habe da Erfahrung aus erster Hand.

Nur für Training und Finetuning von LLMs braucht man die ordentliche Bandbreite zwischen den GPUs, da hilft dann NVLink wirklich signifikant.

Finde das sehr spannend. Wie trainierst Du die LLMs? Welche Tools (LoRA?) nutzt Du da?

[Totao]

Mit Finetuning habe ich noch keine Erfahrungen gemacht, mir fehlen geeignete Trainingsdaten...

[Totao]

In der Realität zahlt man für eine Nvidia RTX Pro 6000 eher 8000€ statt 12000€.
Trotzdem eine Stange Geld. Da kann man schon überlegen ob man einen Server mit 4x RTX 3090 nimmt stattdessen. Hat natürlich nicht jeder Lust drauf.