slashCAM Forum

medienonkel hat geschrieben: ↑Mo 14 Aug, 2023 12:08 Puh, endlich mal Speicherbandbreite mit der man flüssig arbeiten kann.

MK hat geschrieben: ↑Mo 14 Aug, 2023 13:33

medienonkel hat geschrieben: ↑Mo 14 Aug, 2023 12:08 Puh, endlich mal Speicherbandbreite mit der man flüssig arbeiten kann.

Ironie? ;-)

Besonders positiv zu bewerten sei, dass "die Kosten für die Inferenz großer Sprachmodelle erheblich sinken werden", wie "Investopedia" Huang zitiert. Konkret bezog sich Huang bei dieser Aussage auf die generative Phase der KI-Berechnung, die auf das Training von LLMs folgt. Dadurch werde der nächste Schritt hin zu einer Massenadaption der KI-Technologie gemacht.

Es ist also keineswegs davon auszugehen, dass NVIDIAs Marktdominanz bei KI-Chips in Stein gemeißelt ist.

Um das enorm gestiegene Kursniveau zu rechtfertigen, muss der Chip-Gigant nun liefern: Für den 23. August ist die Zahlenvorlage zum zweiten Quartal terminiert. Aktionäre und Anleger werden die Gelegenheit nutzen und mit Argusaugen auf die Umsatzentwicklung des Chipherstellers achten.

Bis zu 1.000 Prozent Marge für Nvidia H100

Durch die enorme Nachfrage kann Nvidia sich KI-Beschleuniger momentan teuer bezahlen lassen. Die Hardware ist aber nicht der einzige Kostenpunkt.

Mit Daten der Finanzberatungsfirma Raymond James hat die Finanzzeitung Barrons geschätzt, dass die Profitmarge einer Nvidia Hopper H100 enorm hoch ist. Der Verkaufspreis von 25.000 bis 30.000 US-Dollar ist rund zehnmal höher als die geschätzten Kosten der Hardware von 3.300 US-Dollar pro Chip Assembly. Hinzu kommen aber die jahrelangen Entwicklungskosten.

Nvidia ist zwar nicht konkurrenzlos auf dem KI-Markt, durch das frühe Investment in Technologien wie Cuda setzt allerdings die Mehrzahl der Anwender derzeit auf Nvidia-Produkte. Außerdem zählen die Nvidia Hopper, Ampere und Ada-GPUs aktuell zu den leistungsfähigsten KI-Beschleunigern am Markt. Mit Nvidia Omniverse und zugehörigen Technologien baut der Hersteller auch die Softwareseite weiter aus.
[...]
Ein baldiger Crash wird auf den Boom vorerst vermutlich nicht folgen. Bis 2027 soll der Markt mit KI-Beschleunigern auf 150 Milliarden US-Dollar jährlich anwachsen. Und Nvidia selbst hat bereits bis Ende 2024 volle Auftragsbücher.

Durch bis zu 24 GByte pro HBM3-Chipstapel kommt ein MI300-Modul mit acht HBM3-Chips auf bis zu 192 GByte. Die müssen sich, anders als beim Vorgänger, nicht einmal auf zwei separate GCDs inklusive Inter-GCD-Flaschenhals aufteilen, sondern können von jedem Rechenwerk mit voller Geschwindigkeit von 5,218 TByte/s genutzt werden. Bisher waren 3,9 TByte/s bei Nvidias H100 NVL das Höchste der Gefühle.