Der Zug ist eigentlich bereits abgefahren, in dem Moment, wo du ein Handy hast.
Du kannst den GPU Speicher nicht einfach addieren.Totao hat geschrieben: ↑Mi 16 Apr, 2025 16:40 Komisch, dass der Artikel nicht den gängigen DIY Ansatz bei KI-PCs erwähnt: Man kauft gebrauchte RTX 3090 mit 24GB VRAM und steckt diese in einen PC. Vom Preis-/Leistungsverhältnix kaum zu toppen (Kosten ca. 700€ pro Stück, seit 3 Jahren preisstabil).
In einen gewöhnlichen PC passen zwei dieser Grafikkarten (gute Belüftung vorausgesetzt). Man sollte darauf achten, dass das Mainboard zwei PCIe x16 Slots mit jeweils elektrisch x8 betreiben kann. Das ist meist nur bei den besseren teureren Mainboards der Fall. Geizhals.de hilft mit den Filtermöglichkeiten weiter bei der Suche nach einem geeigneten Motherboard. Mit 48GB VRAM ist das vermutlich der derzeitige Sweetspot.
Wer mehr als zwei GPUs in den PC stecken möchte, muss allmählich auf die Workstation- oder Server-Mainboards ausweichen, die dafür genügend PCIe Lanes bereitstellen. Dann wird es deutlich teurer - nicht nur beim Mainboard, auch bei der CPU.
Außerdem bleibt das Platzproblem: Eine typische RTX 3090 ist 3 Slots breit und die Mainboards haben maximal 7 Slots. Wenn man ein großes Gehäuse mit 9 Slots Platz besorgt, kann man also gerade mal drei 3-Slot-Karten ins Mainboard stecken.
Wenn das noch nicht reicht muss mit PCIe-Extendern gearbeitet werden (oder Wasserkühlung). Dann steigen auch die Chancen, dass das Ganze nicht mehr in ein geschlossenes PC-Gehäuse passt, sondern eher wie ein Mining-Konstrukt aussieht. Mehrere Netzteile inklusive.
Je RTX3090 steigt dann das verfügbare VRAM um 24GB an.
Doch, was Inferenz von LLMs angeht so lassen die (genauer: deren Layer) sich gut aus mehrere GPUs verteilen, auch ohne NVLink übrigens. Das geht mit Ollama und vLLM direkt ohne weiteres zutun. Aber PCIe 4.0 x8 ist schon nicht verkehrt. Ich habe da Erfahrung aus erster Hand.
Finde das sehr spannend. Wie trainierst Du die LLMs? Welche Tools (LoRA?) nutzt Du da?Totao hat geschrieben: ↑Do 17 Apr, 2025 17:41Doch, was Inferenz von LLMs angeht so lassen die (genauer: deren Layer) sich gut aus mehrere GPUs verteilen, auch ohne NVLink übrigens. Das geht mit Ollama und vLLM direkt ohne weiteres zutun. Aber PCIe 4.0 x8 ist schon nicht verkehrt. Ich habe da Erfahrung aus erster Hand.
Nur für Training und Finetuning von LLMs braucht man die ordentliche Bandbreite zwischen den GPUs, da hilft dann NVLink wirklich signifikant.
