Reaktion auf AMD-Vorstellung: Intel korrigiert AMDs Turin-vs.-Emerald-Rapids-Benchmarks
Eine Benchmarkkorrektur wenige Tage nach Veröffentlichung? Das gab es erst bei AMD vs. Nvidia, nun folgt Teil 2: AMD vs. Intel. Der Anlass sind ein wenig zu optimistische Turin-Werte von AMD gegenüber Intel Xeon, die vor allem Emerald Rapids, der als Gegenspieler genutzt wurde, in ein zu schlechtes Licht rücken.
Bereits kurz nach der Veröffentlichung der ersten Test-Ergebnisse von Epyc 9005 alias Turin von AMD zur Computex 2024 tauchten beispielsweise via Twitter/X Stimmen auf, dass AMD die Intel-Lösungen in den Benchmarks durch Software ziemlich verunglimpft haben könnte.
In der Regel geschehen diese Tests dennoch in einem Rahmen, der zwar stets die Vorzüge der eigenen Produkte zeigt und beim Gegenüber nicht das beste, dass es zu einer Reaktion der Gegenseite kommt, ist eher selten. AMD erwischt es nun aber doch bereits zum zweiten Mal. Im Winter ließ es sich Nvidia nicht nehmen, auf AMDs Angaben zu MI300 gegenüber Nvidia Hopper zu reagieren. Es folgte ein kleiner Schlagabtausch dort, Nvidia sah sich ebenfalls als von AMD übervorteilt an. AMD wiederum reagierte und sagte, dass bei ihnen im Laufe der Zeit ja auch noch alles schneller wird. Die ursprünglichen Aussagen waren letztlich auch hier richtig, aber eben entsprechend grenzwertig.
Hat AMD Intels Xeon zu schlecht dargestellt? Intel findet Ja
Das Thema scheint sich nun ziemlich ähnlich bei Prozessoren zu wiederholen. Es geht dabei um die LLM-Testreihe von AMDs Turin-Prozessor gegenüber dem Intel Xeon Platinum 8592+, dem Flaggschiff der Familie Emerald Rapids, die zur Computex 2024 vom AMD-CEO Lisa Su auf der Bühne gezeigt wurde. ComputerBase war vor Ort und hatte dieses auch im Bild festgehalten.
Den mittleren LLM-Test, Chatbot, der eine 5,4-fach höhere Leistung für AMD zeigt, hat sich nun Intel herausgegriffen, nachgestellt und einige Ungereimtheiten gefunden. Man erklärt dazu:
Last week at Computex 2024, AMD showed (~54:30) “Turin” 128C benchmarks against 5th
Gen Xeon, but the results do not reflect achievable performance on 5th Gen Xeon with
optimized open-source software. AMD did not disclose the software stack it used for
benchmarking. With publicly available software, 5th Gen Xeon processors outperform
AMD’s future CPUs.
Let’s take a deeper look at the Llama2-7B Chatbot use case, one of the most relatable use
cases and one where AMD claims 5th Gen Xeon is significantly underperforming. They
chose to compare their future CPU against Intel’s generally available 5th Gen Xeon, which
launched late last year. Figure 1 shows updated Llama2-7B performance on 5th Gen Xeon,
leveraging claims made for “Turin.” Since there was no substantiation of software and SLAs
used in these claims, we have measured performance using publicly available software
(PyTorch with Intel Extension of PyTorch software) and applied a P99 latency constraint to
reflect the most stringent of customer requirements.
5th Gen Intel Xeon delivers real performance leadership against the competition’s next
generation CPU in the Chatbot scenario. This is an astounding 5.4x better result than
AMD’s claims. Optimized software also helps to deliver significant improvement on the
inaccurate representation of 5th Gen Xeon performance in Summarization and Translation
scenarios, 2.3x and 1.2x respectively.
Intel
Auch Intel erklärt, dass einige der Daten bei Turin natürlich noch fehlen, da die CPU nicht offiziell vorgestellt wurde, und so entsprechend ein Alltagsmodell von Chatbot herausgegriffen wurde. Insofern widerlegt es AMDs Aussagen noch nicht komplett, dennoch zeigt der Konkurrent, dass die Welt so schwarz-weiß eben nicht ist – genau so war es im Winter bei AMD vs. Nvidia auch. Software ist extrem wichtig im AI-Umfeld, ständig gibt es hier zum Teil massive Leistungssprünge.
Intel geht mit dem Wissen selbstbewusst in das dritte Quartal, denn dann kommt Intel Granite Rapids als Xeon 6P, ihre „AI-CPU“. Vermutlich auch mit eigenen Tests gegenüber AMDs Produkten. Diese dürfen dann natürlich auch kritisch beäugt werden.
We can’t wait to show you Xeon 6’s continued CPU leadership position on AI
and LLM inference performance in Q3 2024.
Intel
ComputerBase hat Informationen zu dieser Meldung vorab von Intel unter NDA erhalten. Die einzige Vorgabe war der frühestmögliche Veröffentlichungszeitpunkt.