MLPerf Training Benchmarks: AMD und Intel schweigen zu Nvidias Machtdemonstration

Bei Inference waren alle dabei, beim Training fehlen sie: die neuen MLPerf-Benchmarks sind da. Nvidia Blackwell wird hier in Zukunft wohl das Feld überlassen. Erneut ist es zwar nur ein Preview-Ergebnis, aber selbst an die Alltagswerte der anderen Nvidia-Lösungen trauen sich AMD mit Instinct und Intel mit Gaudi nicht mehr heran.

Blackwell wird die Nvidia-Dominanz manifestieren

Mit ersten Auslieferungen in der Hinterhand hat Nvidia auch Training-Benchmarks von GB200 im Gepäck. Diese sehen einen ähnlichen Zuwachs wie bei den Inference-Werten zuletzt, die Blackwell-Lösungen lösen die Hopper-Varianten an der Spitze ab.

NVIDIA submitted results using the DGX B200 platform, based on Blackwell, on every MLPerf Training benchmark, achieving significant performance gains across the board. Performance per GPU on both the LLM pre-training and LLM fine-tuning benchmarks – based on GPT-3 175B and Llama 2 70B, respectively – more than doubled.

Nvidia

An Nvidias Thron zu rütteln dürfte für viele Herausforderer sehr schwer werden, denn das Unternehmen schläft nicht und verbessert die Software stetig weiter, die noch mehr Leistung in den schon bekannten und auch neuen Szenarien kitzeln kann. So ist auch Hopper in den letzten Monaten stets noch etwas schneller geworden und den Mitbewerbern zum Teil noch weiter enteilt.

Google Trillium ebenfalls wieder dabei

Googles im Mai enthüllte sechste Generation der hauseigenen TPU ist ebenfalls erneut als Preview mit von der Partie. An die theoretischen Werte, im Mai wurde eine bis zu fünffache Leistungssteigerung genannt, kommt Google heute noch nicht heran, aber es ist ja auch hier quasi erst ein halb-offener Testlauf mit viel Optimierungsspielraum. Vor allem die Effizienz in der Skalierung ist jedoch bereits nahezu perfekt.

Trillium delivers a 3.8x improvement in performance for GPT3-175b model pre-training compared to our most recent MLPerf submission for Cloud TPU v5e. The Trillium cluster we used is spread across 12 pods, each having 256 chips in a single ICI domain (3072 chips total), and the pods interconnected via our Jupiter data center network. Trillium also demonstrated a near-linear scaling of performance with a scaling efficiency of 97.6%.

Google

AMD lässt Training-Werte missen

Nach dem Einstieg von AMD in den Inference-Werten Ende August lässt das Unternehmen die Training-Benchmarks erst einmal aus. Bereits im Spätsommer erklärte AMD, man habe einiges an Optimierungspotenzial entdeckt und werde dies umsetzen. Kleinere Dinge davon gehen schnell, andere nehmen jedoch etwas mehr Zeit in Anspruch. Da das Unternehmen aktuell aber ebenfalls den Launch der neuen Instinct-Lösungen mit Partnern anstrebe, rückt dies in den Hintergrund. Bereits vor zwei Monaten sagte AMD, der Fokus des Personals liegt eben erst einmal darin, das Ökosystem bei zahlenden Kunden zum Laufen zu bringen. Instinct MI325X startet bekanntlich nun leicht kastriert, Instinct MI355X soll dann 2025 liefern.

Intel reißt selbst kleinste Umsatzziele

Von Intel gab es in diesem Durchgang auch nichts zu vermelden, bestätigte das Unternehmen auf Rückfrage von ComputerBase. Intel musste im Rahmen der Quartalszahlen zuletzt einräumen, dass das Unternehmen die gesteckten Ziele bei AI in diesem Jahr verfehlen wird. Diese waren mit 500 Millionen US-Dollar Umsatz schon sehr klein, AMD stockte seine zuletzt stetig auf und könnte am Ende wohl bei 5 Milliarden US-Dollar in diesem Jahr landen. Und das wiederum sind vielleicht vier, fünf Prozent von Nvidia, die in ihrer eigenen Welt agieren.

The overall uptake of Gaudi has been slower than we anticipated as adoption rates were impacted by the product transition from Gaudi 2 to Gaudi 3 and software ease of use.

As a result, we will not achieve our target of $500 million in revenue for Gaudi in 2024. That said, taking a longer-term view, we remain encouraged by the market available to us. There is clear need for solutions with superior TCO based on open standards and we are continuing to enhance the Gaudi value proposition."

Intel zu den Quartalszahlen Q3/2024

Intel wurde jedoch auch in dem Bereich vom zu hohen Anspruch und dann der harten Wirklichkeit eingeholt. Die beworbene Leichtigkeit beim Wechsel von Gaudi 2 auf Gaudi 3 ist nämlich nicht so einfach, auch an der Software hakt es. Ohnehin kann Intel vornehmlich nur die Preiskarte spielen, Gaudi 3 löst hier Gaudi 2 ab. Ein echtes konkurrenzfähiges Produkt für das Jahr 2025 ist es vermutlich aber nicht.

ComputerBase hat die Informationen zu der Meldung von MLCommons und Nvidia sowie Bestätigungen von Intel vorab unter NDA erhalten. Eine Einflussnahme der Hersteller oder eine Verpflichtung zur Berichterstattung bestand nicht. Die einzige Vorgabe aus dem NDA war der frühestmögliche Veröffentlichungszeitpunkt.