Trotzdem lokal?

Wer dennoch aus den teilweise oben genannten Gründen lieber lokale KI-Modelle selbst betreiben will, kann sich bei der Auswahl seiner Hardware tatsächlich an zwei Werten orientieren: Verfügbare Speichergröße und Speichergeschwindigkeit. Denn tatsächlich ist fast jedes KI-Modell aktuell durch seinen Speicherdurchsatz limitiert. Das bedeutet, dass die Rechenwerke in der Regel immer auf den Speicher warten müssen.

Dies ist auch der Grund, warum PCs mit sehr viel Speicher in großen KI-Modellen teilweise eine RTX 5090 von Nvidia deutlich hinter sich lassen. Denn ist das Modell größer als der nutzbare Speicher, so muss dieser ausgelagert, bzw. immer wieder langsam nachgeladen werden.

Passt das Modell dagegen komplett in den Speicher, so bestimmt dieser auch die Geschwindigkeit der Anwendung. Ein Beispiel: Nutzt man ein Sprachmodell mit 100 GB Gewichten, so muss dieser Speicher in der Regel einmal komplett gelesen werden, um einen Token als Ausgabe zu erzeugen. Hat der Speicher einen Speicherdurchsatz von 400 GB/s, so wird die Ausgabe ungefähr mit 4 Token/s erfolgen. Ist das Modell nur 50 GB groß, so sollten ca. 8 Token/Sekunde möglich sein. Auf einer GPU mit nur 32 GB Speicher werden solche Modelle dagegen deutlich langsamer sein, weil die GPU hier die Daten nur mit 32 oder 64 GB/s über den PCIe-Bus aus dem meist ebenso langsamen Hauptspeicher lesen kann.

Tatsächlich bietet deswegen gerade Apple relativ interessante Hardware für große lokale KI-Modelle an: So können die neuesten M-Ultra-Prozessoren bis zu 512 GB Speicher mit 800 GB/s nutzen (ab ca. 12.000 Euro). Die schnellste vergleichbare PC-Technologie ist die noch sehr frische AMDs Strix Halo Plattform, welche 128 GB RAM mit ca. 270 GB/s ansprechen kann (ab ca. 2000 Euro). Zum Vergleich: Eine Nvidia RTX Pro 6000 Blackwell GPU mit 96 GB RAM und 1,8 TB/s Speichertranssferrate wird gerade mit ca. 12.000 Euro taxiert. Und auch hier gilt: Wenn das KI-Modell in 96 GB GPU-Speicher passt, ist die Nvidia Karte rasend schnell. Wenn nicht, dann wirds grottig lahm.

Was kaufen?

Auch wenn sich eine RTX Pro 6000 Blackwell GPU sicherlich unter Resolve ganz gut schlägt, lohnt sich eine solche Investition wirklich nur für den seltenen Fall, dass man ein spezielles KI-Modell nutzen will, das den GPU-Speicher effizient ausnutzen kann. Nicht nur für generative KI gilt, dass die lokalen KI-Modelle immer besser werden - die besten Ergebnisse wird man jedoch weiterhin in der Cloud bekommen. Solange man nicht rund um die Uhr seine eigene Hardware auslasten kann, wird sich eine Investition in besonders KI-fähige Hardware nur schwer bezahlt machen und zugleich nur suboptimale Ergebnisse bringen.

Im Bereich der transformativen KI-Effekte in Premiere oder Resolve werden die Hersteller dagegen immer darauf schauen, dass eine breite Anwenderbasis die Effekte auch nutzen kann. Hier werden günstigere GPUs von der Nutzung nicht ausgeschlossen, sondern nur langsamer rechnen. Wir persönlich tippen jedoch stark darauf, dass Adobe, Blackmagic u.ä. bald auch viele KI-Effekte über die Cloud nutzbar machen werden. Und die Preise für die Nutzung werden so kalkuliert sein, dass sich eigene Hardware im Vergleich dazu kaum lohnen wird.

Fazit

Sofern man in Zukunft für generative KI gewappnet sein will, kann man sich entspannt zurücklehnen und muss nicht investieren. Denn die besten Angebote wird man bis auf weiteres in der Cloud zum Mieten finden. Solche KI-Service-Angebote lassen sich meist ohne großes finanzielles Risiko ausprobieren. bzw. schnell kündigen, wenn an der nächsten Ecke ein besseres KI-Modell auftauchen sollte. Wer also schon heute investieren will, sollte dies vor allem mit seiner Zeit tun und die zahlreichen Cloud Angebote erforschen, um am Ball der KI-Möglichkeiten zu bleiben.