News MLPerf Benchmark für AI: Intel ist ein Gewinner, aber Nvidia gewinnt noch viel mehr

[Volker]

In neuen MLCommons-Performance-Benchmarks sieht sich Intel mit den eigenen AI-Bemühungen als Gewinner. Doch Nvidia gewinnt eigentlich noch viel mehr. Dass jeder ein Gewinner ist, freut die Unternehmen, zeigt aber auch die Schwierigkeiten dieser Testserien auf, von mangelnder Unterstützung einiger Unternehmen ganz zu schweigen.

Zur News: MLPerf Benchmark für AI: Intel ist ein Gewinner, aber Nvidia gewinnt noch viel mehr

 

[Fighter1993]

Nvidia ist ein Unternehmen mit viel zu viel Marktmacht, das geht bald schon Richtung Amazon....

 

[KlaasKersting]

Intel's Statement wundert mich nicht.

Einen konkreten Preis zu benennen wird schwierig bis unmöglich sein, bei deren Kunden wird es sich wohl vornehmlich um Data Center Betreiber mit eigenem Ansprechpartner bei Intel handeln, die dann ihr maßgeschneidertes Angebot bekommen.

Ansonsten bleibt ja nicht viel zu sagen, dass Nvidia ML/AI seit mindestens Volta (+ die 3-5 Jahre Entwicklungszeit bis hin zum Produkt) angepeilt und aktiv nach vorne gebracht hat und nun die Profite ihrer Strategie erntet, ist ja nicht neu.

Auch das übliche Muster, dass Nvidia durch ihre Software überzeugt, ist ja jetzt nicht neu und nicht nur auf den AI-Markt beschränkt. Hier liegt nach wie vor AMDs Schwäche, das Hardware-Design ist leistungsfähig, aber die breite Unterstützung in Anwendungen kann nicht mit Nvidia mithalten.

 

[Linmoum]

Nvidia ist ein Unternehmen mit viel zu viel Marktmacht, das geht bald schon Richtung Amazon....

Wenn ich sowas lese frage ich mich jedes Mal, was dieser negative Unterton soll, mit dem man Nvidia quasi immer gefühlt unterstellt, dass ihre unangefochtene Führungsrolle das Resultat von falschem Zauber und miesen Tricksereien ist.

Nvidia hindert die Konkurrenz nicht daran, eigene Produkte (inkl. dazugehöriger Software!) zu entwickeln, die entweder konkurrenzfähig sind oder zumindest im Gesamtpaket eine Alternative darstellen, die man in Betracht ziehen könnte. Dass Nvidia dort steht, wo sie stehen, ist das Resultat harter und vor allem auch nachhaltiger Arbeit, weil man nicht zuletzt oftmals die Zeichen der Zeit (wie aktuell beim Thema AI) erkannt hat. Der andere Grund ist die schläfrige Konkurrenz selbst, über die man bei Nvidia wahrscheinlich einmal wöchentlich in Meetings nicht anders kann, als mit dem Kopf zu schütteln.

 

[DerGeist1984]

ich bin schon immer bei AMD und ATI jetzt zusammen werde es auch immer so bleiben

 

[john.smiles]

negative Unterton ... miesen Tricksereien ist.

was mir so ohne google auf die schnelle einfällt:

970 3,5GB VRAM Fiasko
Weigerung für den Tegra Support für weitere Androidversionen zu geben, die Tablets waren extrem schnell veraltet
Beschiss bei den Produktbezeichnungen um Vorgängergenerationen weiter vertreiben zu können
Beeinflussung von Reviewer
Die massive Gängelung von den Partnern (Boardherstellern), wie der Zwang Bundles (GPU,RAM, ICs) zukaufen anstatt nur die GPU
Verheimlichung vor den Aktionären wie viele Crypto Karten sie gebaut hatten - gab eine Geldstrafe

Und eins musste ich noch googlen:

Async compute support

While the Maxwell series was marketed as fully DirectX 12 compliant,[159][160] Oxide Games, developer of Ashes of the Singularity, uncovered that Maxwell-based cards do not perform well when async compute is utilized.[161][162][163][159]

It appears that while this core feature is in fact exposed by the driver,[164] Nvidia partially implemented it through a driver-based shim, coming at a high performance cost.[163] Unlike AMD's competing GCN-based graphics cards which include a full implementation of hardware-based asynchronous compute,[165][166] Nvidia planned to rely on the driver to implement a software queue and a software distributor to forward asynchronous tasks to the hardware schedulers, capable of distributing the workload to the correct units.[167] Asynchronous compute on Maxwell therefore requires that both a game and the GPU driver be specifically coded for asynchronous compute on Maxwell in order to enable this capability.[168] The 3DMark Time Spy benchmark shows no noticeable performance difference between asynchronous compute being enabled or disabled.[168] Asynchronous compute is disabled by the driver for Maxwell.[168]

Oxide claims that this led to Nvidia pressuring them not to include the asynchronous compute feature in their benchmark at all, so that the 900 series would not be at a disadvantage against AMD's products which implement asynchronous compute in hardware.

 

[Daniel D.]

Und gleichzeitig kommt die Fragee auf,

Ich verkaufe ein "e".

 

[Fighter1993]

Wenn ich sowas lese frage ich mich jedes Mal, was dieser negative Unterton soll, mit dem man Nvidia quasi immer gefühlt unterstellt, dass ihre unangefochtene Führungsrolle das Resultat von falschem Zauber und miesen Tricksereien ist.

Nvidia hindert die Konkurrenz nicht daran, eigene Produkte (inkl. dazugehöriger Software!) zu entwickeln, die entweder konkurrenzfähig sind oder zumindest im Gesamtpaket eine Alternative darstellen, die man in Betracht ziehen könnte. Dass Nvidia dort steht, wo sie stehen, ist das Resultat harter und vor allem auch nachhaltiger Arbeit, weil man nicht zuletzt oftmals die Zeichen der Zeit (wie aktuell beim Thema AI) erkannt hat. Der andere Grund ist die schläfrige Konkurrenz selbst, über die man bei Nvidia wahrscheinlich einmal wöchentlich in Meetings nicht anders kann, als mit dem Kopf zu schütteln.

Weil es genau das ist. Nvidia hat damals auch mit it Meant to be played eine ähnliche Schose abgezogen wie AMD mit Nvidia und AMD so klein gehalten.
Was jetzt wäre wenn es anders gelaufen wäre könnte keiner sagen.
Also ist dieser Unterton doch angesagt.

 

[Eller]

ComputerBase hat Informationen zu diesem Artikel von Intel und Nvidia unter NDA erhalten. Die einzige Vorgabe war der frühestmögliche Veröffentlichungszeitpunkt.

Gähn, schnell noch gemeinsam gegen AMD wettern, bevor der Instinct MI300X kommt....

 

[PrefoX]

Nvidia ist ein Unternehmen mit viel zu viel Marktmacht, das geht bald schon Richtung Amazon....

Weil sie besser sind? naja dann sollten die anderen Unternehmen endlich auch mal abliefern. DAS ist der einzige Vorteil vom Kapitalismus. Und Marktmacht ist ein schlechter Scherz, der Markt entsteht doch gerade rest, es gibt kaum kommerzielle Produkte, das dauert alles noch 5+ Jahre. Desweiteren ist der Umsatz im Vergleich zu Smartphones ein Witz und da jammerst du auch nicht gegen Apples Marktmacht. Es ist ein FREIER Markt, wenn AMD und Intel nichts gebacken bekommen, dann kommen andere Unternehmen. Beschwer dich lieber bei AMD und Intel für ihr Versagen anstatt dich über die Menschen zu beschweren die ihr Herzblut in die Produkte gesteckt haben. DAS ist für die Wissenschaft so wichtig und im Endeffekt dann auch für die Menschheit. Die Medizin und unsere Energiewirtschaft wird stark davon profizieren und darüber meckerst du... lachhaft. Wissen rettet leben, du als AMD Fanboy denkst aber nur ans Geld.

Ergänzung (8. November 2023)

Gähn, schnell noch gemeinsam gegen AMD wettern, bevor der Instinct MI300X kommt....

AMD macht sich ständig lustig über Nvidia obwohl es gar keine Gründe gibt, AMD hat alle 3 letzten Produkte verkackt, Zen4 schmort durch, die Boards sind scheisse und die Radeons haben keine funktionierenden Vaporchambers gehabt... und keine Sau interessiert sich für die Instinct GPUs. die GPU Sparte von AMD ist einfach nur noch lächerlich klein und AMD selbst hat sie aufgegeben.

 

[H6-Mobs]

Also ist dieser Unterton doch angesagt

Ist er nicht. NVIDIA ist jetzt da wo sie sind, weil sie einfach die besseren Produkte mit der besseren Software die letzten Jahre raus gebracht haben. Ihre Preispolitik ist da was anderes, das kann man zurecht kritisieren.
Schau nur mal auf gsync, dlss und jetzt fg. Und was macht der Konkurrent? Der kopiert einfach alles und verkauft es dann als offener Standard und die Leute feiern sowas.

 

[eastcoast_pete]

Kenne mich bei KI Software nicht so gut aus, daher die Frage: gibt es Szenarien wo es Sinn macht , CPUs (Xeon, EPYC) und zB Nvidia Beschleuniger zugleich einzusetzen, dh die Kombination ist deutlich besser/schneller als jede Lösung alleine?

 

[iNFECTED_pHILZ]

Gähn, schnell noch gemeinsam gegen AMD wettern, bevor der Instinct MI300X kommt....

Volker halt. Da wird gefühlt echt jede Chance genutzt.

Morgen soll nach Gerüchteküche die mi300x präsentiert werden.
Warum sollte man diesen aufwendigen Benchmark mit „alter“ Hardware durchführen.

Und warum wlrd AMD von Volkers Artikel fast genauso häufig wie Nvidia oder Intel genannt? Wie hart verbohrt kann man eigentlich sein ?

 

[ETI1120]

Morgen soll nach Gerüchteküche die mi300x präsentiert werden.

Nicht am 6. 12. 2023, wenn AMD das Advancing AI Event abhält?

Wenn Intel und Nvidia Zahlen vorlegen und AMD nicht, darf man doch fragen wo AMD bleibt. AMD kann ja die Zahlen zur MI200 präsentieren. Aber die dürfte am Fehlen von FP8 leiden. Im übrigen gibt es kein Interview bei dem Lisa Su nicht sagt, dass AI Kernthema von AMD sei.

Was die Performance der MI300 angeht, habe ich keine Zweifel, dass die FP64 Performance bombastisch ist. Aber die eigentliche Frage ist, was die Performance bei AI angeht. Dass AMD so einen Terz um den großen Speicher der MI300 macht, sollte Hinweis genug sein.

Außerdem bleibt abzuwarten, ob die MI300 eine logische GPU oder mehrere logische GPU sind. Die MI200 sind 2 logische GPUs.

 

[Chris007]

Kenne mich bei KI Software nicht so gut aus, daher die Frage: gibt es Szenarien wo es Sinn macht , CPUs (Xeon, EPYC) und zB Nvidia Beschleuniger zugleich einzusetzen, dh die Kombination ist deutlich besser/schneller als jede Lösung alleine?

Nein, weil Grafikkarten einfach mehr Rechenkerne haben um die Daten parallel zu bearbeiten. Gerade das parallele bearbeiten ist bei KI wichtig, deswegen werden überall GPU basierte Super Rechner genutzt.

Besonders Server CPUs scheinen für Nvidia uninteressant zu sein, die wollten ja extra ARM kaufen um dann spezielle CPUs für ihre GPU Superrechner zu bauen (man braucht halt eine CPU im System, aber die eigentlich Arbeit macht quasi alles die GPU)

 

[eastcoast_pete]

Das mit dem Vorteil von GPUs als sehr viele massiv parallele Recheneinheiten die sehr gut fp8 usw können ist mir klar. Es bleibt aber die Frage, ob die bei allen KI/ML Anwendungen immer die schnellsten sind, oder ob es da Nuancen gibt. Und auch die ganz schnellen Rechner sind nicht alle exklusiv auf GPU Basis entstanden; zum Beispiel Fugaku (Mount Fuji), der ja stark auf sehr vielen ARM Kernen mit sehr breiten SVE basiert.

 

[DevPandi]

Auch das übliche Muster, dass Nvidia durch ihre Software überzeugt, ist ja jetzt nicht neu und nicht nur auf den AI-Markt beschränkt.

Der AI-Markt ist im weiten nicht so abhängig von NVIDIA, wie manche annehmen. Die Softwarehersteller sind darum bemüht ihre Systeme weitgehend Hardware agnostische zu entwickeln. Intel, AMD, NVIDIA und auch andere Hersteller haben hier die Chance mit guter Hardware zu punkten und ebenso mit den passenden Treibern.

NVIDIA hat hier aktuell die beste Hardware und die „Treiber“ bei PyTorch und Co sind e zusprechend gut.

NVIDIA weiß das auch, weswegen sie hier auch massiv am Ball bleiben. Gerade in diesem Markt haben sie aber viel Konkurrenz. Apple, AMD, Intel und Qualcom haben entsprechende NPUs für ihre SoC/APUs im Angebot. Google mit ihren Tensor-SoCs auch.

Bei bestimmten Trainings ist die Rechenleistung eher sekundär wichtig, der Arbeitsspeicher und die Speicherstruktur allgemein ist entscheidend.

Gerade der KI-Markt ist zum jetzigen Zeitpunkt sehr gesund, da es zwar einen starken Anbieter gibt, der aber noch nicht vollständig den Markt dominiert.

Also ist dieser Unterton doch angesagt.

Im KI-Markt? Nein! Die Frameworks werden Hardwaresgnostisch ausgelegt und entwickelt. Intel als auch AMD und andere können passende Adapter dafür entwickeln und nutzen.

Probleme liegen hier eher daran, das weder Intel noch AMD wirklich aus den Pötten kommt und sich beide immer noch zu sehr darauf verlassen, das die „Community“ die Sachen für sie löst, statt das die dort die Teams bereitstellen.

Der kopiert einfach alles und verkauft es dann als offener Standard und die Leute feiern sowas.

Oh, wie schlimm, es gibt offene Alternativen.
Alles was NVIDIA macht, machen sie, damit Sie Kunden final an sich binden können und sich damit auch dem Markt zu entziehen. Also ein Monopol zu erlangen.

Wir können froh sein, das AMD noch genug „Resourcen“ hatte um immer rechtzeitig noch freie Alternativen zu entwickeln und das sie das gemacht haben.

Was ein Monopol bedeutet, habe ich beruflich nun 3 mal erlebt und wie die Firmen dann anfangen mit einem umzuspringen und ebenso mit welchen Schmerzen man sich dann freikämpfen muss.

Aber vielleicht sollte mal ein Monopol nur noch mit NVIDIA im Bereich HPC und Co entstehen, mal sehen wie dann einige hier meckern.

 

[thuering]

Nvidia = führender Hersteller von AI-Beschleunigungshardware. Und das ist auch gut und richtig so 🥰

 

[LEDs]

Bei STH hieß es bis zu 4x billiger: https://www.servethehome.com/nvidia...-better-performance-per-dollar-than-its-h100/