MLPerf Inference v5.0 Benchmark: Nvidia legt mit Blackwell weiter zu, aber AMD wächst
Inference, also die Nutzung von trainierten AI-Modellen, liegt AMD Instinct. Und so wächst der deutlich kleinere Herausforderer im unaufhaltsam größer werdenden Schatten von Nvidia. Der Fokus bei Nvidia liegt nun auf der Skalierung, wie das Unternehmen in einem separaten Briefing betonte. Und mit Blackwell gelingt das.
Der Platzhirsch Nvidia galoppiert davon
MLCommons hat die Inference-Benchmarkssuite ausgebaut und neue Ergebnisse veröffentlicht. Sie umfasst nun elf Tests und geht beim Thema AI mehr in die Breite, um auch besser Latenzen und Randbereiche zu berücksichtigen. Dass dabei am Ende überall Nvidia gewinnt, überrascht nicht. Im Detail zeigen sich aber Bereiche, in denen Blackwell gegenüber dem Vorgänger weitaus besser skaliert als in bisherigen Tests gezeigt. Vor allem in den neuen Testreihen zur Latenz ist Blackwell deutlich besser unterwegs, der Vorsprung liegt hier oft beim Dreifachen, wenn auch nicht immer.
Die Skalierbarkeit ist jedoch etwas, was Nvidia bei Blackwell deutlich mehr im Blick hatte als zuvor. Die wichtigen Bauteile alle aus einer Hand zu liefern, ist der große Vorteil von Nvidia. Flaschenhälse gibt es mitunter zwar immer noch, aber nicht so ausgeprägt wie bei anderen Lösungen. Dass im Endeffekt letztlich sogar 15 Partner eigene Ergebnisse mit Nvidia-Hardware eingereicht haben, spricht für die Akzeptanz der Lösungen von Nvidia.
AMDs Partner sind endlich auch mit im Boot
AMD feiert im Schatten von Nvidia einen großen Erfolg, da es sich nicht mehr nur um einzelne Listungen von AMD selbst handelt, sondern nun auch in diesem Fall Partner mit dabei sind. Dadurch werden auch Vergleiche etwas einfacher. Beispielsweise bietet Supermicro nun Systeme an, die mit allen möglichen Lösungen bestückt sind, von H200 über GH200 bis hin zu B200 von Nvidia, bei AMD dann entsprechend Instinct MI325X.
Dabei zeigt das AMD-System mit MI325X eine Leistung in der Region von H200, Nvidias Blackwell-Lösung eilt hingegen mit bis zu dreifacher Leistung weit davon. H200 ist aber definitiv ein guter Ausgangspunkt, Optimierungspotenzial für kommende Instinct-Beschleuniger gibt es weiterhin.
AMD is excited to announce strong MLPerf®Inference v5.0 results with the first-ever AMD InstinctTM MI325X submission and the first multi-node MI300X submission by a
partner. This round highlights investment from AMD in AI scalability, performance,
software advancements and open-source strategy, while demonstrating strong
industry adoption through multiple partner submissions.
For the first time, multiple partners—Supermicro (SMC), ASUSTeK, and Giga
Computing with MI325X, and MangoBoost with MI300X—submitted MLPerf results
using AMD Instinct solutions. MI325X partner submissions for Llama 2 70B achieved
comparable performance of AMD’s own results, reinforcing the consistency and
reliability of our GPUs across different environments.
AMD
Intel liefert nur Xeon, aber kein Gaudi
Intels PR reitet bei den neuen Ergebnissen erneut nur das Pferd, dass man der einzige CPU-Anbieter ist, der reine CPU-Ergebnisse zulässt – in dem Fall mit Intel Granite Rapids. Es sind zwar auch AMD-Prozessoren in diversen Servern zu finden, dann aber immer nur als Basis für die GPUs.
Across six MLPerf benchmarks, Xeon 6 CPUs delivered a 1.9x improvement in AI
performance boost over its previous generation, 5th Gen Intel
® Xeon
® processors. The
results highlight Xeon’s capabilities in AI workloads, including classical machine
learning, small- to mid-size models, and relational graph node classification.
Since first submitting Xeon to MLPerf in 2021 (with 3rd Gen Intel
® Xeon
® Scalable
Processors), Intel has achieved up to a 15x performance increase, driven by hardware
and software advancements, with recent optimizations improving results by 22% over
v4.1.
Intel
An HPC-Beschleuniger-Ergebnisse hat sich Intel derweil aber nicht herangetraut, ein Ergebnis von Gaudi3 oder Vorgänger Gaudi2 gibt es nicht. Intel betreibt also das berühmte Cherry Picking, gegen die Beschleuniger von AMD und Nvidia hätte Intel in den meisten Fällen nämlich kaum Land gesehen, weshalb man zuletzt schon immer die Preiskarte ziehen musste. Ein echter Konkurrent ist Gaudi nämlich nicht.
ComputerBase hat die Informationen von MLCommons, Nvidia und Intel vorab unter NDA erhalten. Die einzige Vorgabe war der frühestmögliche Veröffentlichungszeitpunkt.
Ihr habt die Wahl: Macht mit bei den Reader's Choice Awards 2025 und bestimmt eure Hersteller des Jahres!