News MLPerf Inference Benchmarks: Erstmals mit Blackwell, MI300X & Turin sowie Granite Rapids

[Volker]

MLPerf-Benchmarks haben es geschafft: AMDs Instinct MI300X und Epyc „Turin“, Intel Xeon „Granite Rapids“, Nvidia B200 „Blackwell“ und Google TPUv6 krönen die neue Testserie. Noch nie zuvor wurden so viele auch noch nicht verfügbare Produkte in dem Test berücksichtigt. Das war und ist ein Ziel der Macher der Suite.

Zur News: MLPerf Inference Benchmarks: Erstmals mit Blackwell, MI300X & Turin sowie Granite Rapids

 

[Philste]

Auch wenn ich mir gedacht habe, dass MI300X nicht so gut ist wie von AMD behauptet, sind die Zahlen doch sehr ernüchternd. Eigentlich ist doch Intel mit Gaudi da genauso kompetitiv oder nicht? Klar, Gaudi 2 ist etwas schwächer, aber dafür nochmal günstiger und auch lange so kein Multi Die Monster wie MI300X. Und Gaudi 3 sollte stärker sein, oder?

 

[Neodar]

Tja, da hat AMD noch ne Menge Arbeit vor sich.
Aber auch die MI3xx Beschleuniger werden ihre Kunden finden. Sind sie doch wohl ne ganze Ecke günstiger zu bekommen.

 

[Axxid]

Ich bin nicht wirklich in dem Thema drin. Könnte man in Zukunft irgendwie im ersten Absatz einbauen, dass es sich um einen Benchmark für AI-Hardware (glaube ich) handelt?

 

[SweetOhm]

Die dazugehörigen Preise wären interessant !
Oh wait ...

 

[7H0M45]

Selbst mit schlechteren Ergebnissen bekommen die ihre Produkte schon genug verkauft. Die Marge von NVIDIA zeigt, dass es einen Angebotsengpass gibt und bei sowas kann man dann gut über Preis/Leistung punkten

 

[bad_sign]

AMD steckt noch in den Kinderschuhen, wie so üblich

 

[Pampersbomber]

Alles ganz cool und so, but can it run Crysis?

 

[DoS007]

@Volker
Also haben wir jetzt beim ML-Hardware-Benchmarking drei allgemeine ML Metriken:
Einfach: TOPS
Geekbench ML: ungefähre Leistungsmessung von FP32, FP16, INT8 (BF16 fehlt?) mit konkreter Softwareplattform
ML Perf: Praktische OpenSoruce ML Anwendungen wie LLM über LLama, Bildgenerierung über Stable Diffusion XL (einzelne spezielle Anwendungen kann man immer noch natürlich separat ohne ML Perf vergleichen)