Bericht AMD MI300A & MI300X: Die neue Instinct-Serie ist ein Meilenstein in vielen Bereichen

[ETI1120]

Bitte?

Du kannst Rechnen 10 Jahre ist Ende 2013 und nicht 2003.

Und schon 2013 war Nvidia der eindeutige Platzhirsch bei den Gaming GPUs.
Nvidia hatte 2013 schon Erfolg mit GPGPU während AMD hier rein gar nichts vorzuweisen hatte.

Die GPU-Sparte von AMD ist Ex-ATI und ATI war (fast) immer wesentlich näher an nVidia dran als AMD.

Du hast Recht, dass vor Zen die GPUs näher an Nvidia dran waren als die CPUs an Intel.

Aber man darf auch nicht unterschlagen wo die CPUs gefertigt und wo die GPUs gefertigt wurden.

Am Desaster von Bulldozer war die abgrundtief schlechte Halbleiterfertigung bei AMD bzw. GF doppelt beteiligt. Einerseits hat sie zu schlechten Entscheidungen in der Architektur von Bulldozer verleitet und andererseits war sie im Vergleich zu Intel so schlecht dass AMD nur erbärmliche Frequenzen bei riesigen Verbrauch erreichen konnte. Und die Fehlerrate war so hoch, dass AMD keine großen Chips machen konnte.

Was soll hier "unglaublich" sein?

Das ist doch offensichtlich.

Dass AMD es geschafft haben, ATI erst nach allen Regeln der Kunst abzuwracken

Das Abwracken hat Ex-ATI überwiegend selbst erledigt. Sehr viele Leute haben das neue Unternehmen verlassen, von ATI waren schlechte Produkte in der Pipeline und weil die Leute von ATI haben sich im Grunde gegen die Übernahme gewehrt. Dadurch haben sich die ganzen Fusion Projekte verzögert. Und so wie ich es mitbekommen habe, waren die Treiber von ATI deutlich schlechter als sie es aktuell sind.

Die Übernahme von ATI durch AMD war ein Paradebeispiel einer gescheiterten Übernahme. Erst nach vielen Jahren hat die Zusammenarbeit von Ex-ATI mit AMD funktioniert.

und jetzt einen KI-Beschleuniger zu veröffentlichen, dessen Marktakzeptanz sich erst noch erweisen muss

Nvidia hat es im Grunde nicht gejuckt, sie werden auf absehbare Zeit im AI-Markt alles verkaufen was sie produzieren können. Und deshalb wird Nvidia unbestrittener Marktführer bleiben. Wobei natürlich das Preisdiktat von Nvidia an Grenzen stößt.

Aber die anderen, die sich ein bisschen vom Kuchen abschneiden wollen, werden am 6. Dezember ganz massiv geschluckt haben.

Was definierst Du als Marktakzeptanz? AMD hat schon einiges verkauft also ist die Marktakzeptanz grundsätzlich gegeben. Aber der Umsatz von Nvidia wird um ein Mehrfaches höher sein.

Ergänzung (16. Dezember 2023)

Glaub ich nicht. AMD ist zuletzt alles andere als günstig, im Gegenteil sogar, im Server-Bereich haben sie auch sauber die Preise angezogen. Wenn das Ding wirklich so viel leistet wie AMD sagt, kostet es auch das gleiche.

Die Zeiten bei denen AMD ihre Produkte verramschen muss ist vorbei. Sie wären daran auch fast verreckt.

Ich halte die 2 Milliarden USD Umsatz mit MI300 die AMD für 2024 genannt hat für die untere Grenze der Erwartungen. Aber AMD kann nicht einfach beliebig Kapazitäten buchen und dann feststellen, dass sie sie nicht brauchen.

Die MI300 massiv billiger als Nvidia anzubieten ergibt keinen Sinn.

1. Bei aller Begeisterung für die Technik muss man sehen, dass AMD hier sehr viel Silizium reinpackt und dass die Montage der MI300 auch einiges kostet. Die größere Siliziumfläche resultiert IMO daher, dass
   1. Nvidia auf Schaltungsebene einen Vorsprung hat (Wie viel aktuell noch ungenutztes Potential noch in AMD-Toolkette steckt, werden wir sehen.)
   2. AMD auf FP64 optimiert hat, während Nvidia auf die kleinen Datentypen optimiert hat.
2. Zu niedrige Preise senden das Signal, dass man nicht an das Produkt glaubt.
3. In einen Markt bei dem das Angebot begrenzt ist, schmeißt man mit zu tiefen Preisen man Umsatz und Marge weg.

 

[ich_nicht]

Bild 45+46 von 46 ist einfach nur 🤯
Wow.
Was ein Riesiges Ding.
Sowas habe ich noch nie gesehen.
Wie viel soll das Package welches sie da in der Hand hält, an Transistoren haben?

Da geht noch was in Sachen chip size
https://www.cerebras.net/product-chip/

😁

 

[stefan92x]

AMD auf FP64 optimiert hat, während Nvidia auf die kleinen Datentypen optimiert hat.

Diesen Punkt kann man gar nicht genug betonen, vor allem da AMD das so ein bisschen ausgelassen hat. Eigentlich hat AMD in den letzten Jahren einen sehr starken Fokus auf HPC-Anwendungen gelegt, da Nvidia diesen Bereich durch ihren AI-Fokus einfach in ihren Chipdesigns vernachlässigt hat.

MI300 (und MI200 war es noch deutlicher) ist letztlich ein HPC-Design, das "auch AI kann". Nvidia baut AI-Chips, die "auch HPC können". Man merkt schon, dass AMD da den Fokus geändert hat, aber diesen Hintergrund merkt man halt immer noch.

 

[jonathansmith]

Bitte?

Die GPU-Sparte von AMD ist Ex-ATI und ATI war (fast) immer wesentlich näher an nVidia dran als AMD.

Was soll hier "unglaublich" sein? Dass AMD es geschafft haben, ATI erst nach allen Regeln der Kunst abzuwracken und jetzt einen KI-Beschleuniger zu veröffentlichen, dessen Marktakzeptanz sich erst noch erweisen muss (gut, momentan wird ja alles gekauft, wo AI drauf steht... selbst Intel-Gurkenzeugs wie die Mooooaaaads-Gaudi)?

Liebe AMD Fanboys... man kann es auch übertreiben!

Was hat das mit meiner Aussage zu tun?

ATI wurde 2006 übernommen, ich habe von vor 10 Jahren gesprochen, also 2013. Da hat Nvidia den Grafikkartenmarkt bereits dominiert.

Abgesehen davon habe ich mich mit meiner Aussage nicht nur auf den GPU-Markt bezogen, sondern auf AMD als Ganzes und da hat man in den vergangenen Jahren unglaublich aufgeholt. Unabhängig von den Marktanteilen, sind die Chips im Verhältnis zur Konkurrenz einfach wesentlich besser geworden als sie es vor 10 Jahren waren.

 

[ETI1120]

Diesen Punkt kann man gar nicht genug betonen, vor allem da AMD das so ein bisschen ausgelassen hat.

Aber die Geschichte, dass man schon immer wusste, dass AI der große Bringer wird, hört sich doch sehr gut an. Und wenn sich die Performance der MI300 bestätigt, spielt es ohnehin keine Rolle.

Eigentlich hat AMD in den letzten Jahren einen sehr starken Fokus auf HPC-Anwendungen gelegt, da Nvidia diesen Bereich durch ihren AI-Fokus einfach in ihren Chipdesigns vernachlässigt hat.

Man muss auch ganz klar sagen, dass AMD das Geld für ein FP64 Design das auch AI das Geld bekommen hat. Ich denke aber, dass es auch den LLNL klar wurde, dass sie viel AI machen werden und so wird die bessere Unterstützung der kleinen Datentypen auch eine Anforderung der LLNL gewesen sein.

Dass Nvidia so agiert ist klar. Die FP64 Leistung ist gut und zusammen mit dem auf CUDA basierenden Softwarestack ist Nvidia immer noch der Platzhirsch im Enterprise Markt für FP64.

Je enger CPU und GPU kooperieren, desto größer ist der Vorteil der MI300A. Deshalb bin ich gespannt wie die Sache mit El Capitan aussieht.

MI300 (und MI200 war es noch deutlicher) ist letztlich ein HPC-Design, das "auch AI kann".

So sehe ich das auch.

Nach der Übernahme von Xilinx habe ich eigentlich damit gerechnet, dass ein großer XDNA Chip kommt. So war es eigentlich auf den Roadmaps vom FAD 2022 stand.

Aber in der letzten Zeit habe ich kapiert, dass XDNA in der aktuellen Form eher für Inference in der Edge ausgelegt ist und nicht fürs Training und für Inference im Data Center.

Ich bin gespannt wie es mit XDNA weitergeht und was sich unter XDNA2 verbirgt.

Nvidia baut AI-Chips, die "auch HPC können". Man merkt schon, dass AMD da den Fokus geändert hat, aber diesen Hintergrund merkt man halt immer noch.

Wenn sich die Zahlen von AMD bestätigen, dann ist die MI300 bei Training und Inference besser als ich es erwartet hatte.

 

[eazen]

“Denn die Server werden auch bei AMD nicht angetrieben etwa von eigenen Epyc-CPUs, es kommt sowohl bei AMD als auch Nvidia ein Intel Xeon aus der Familie Sapphire Rapids zum Einsatz.”

Sinnlose Verallgemeinerung, man kann auch Epyc in die server tun, denkt der Author nur an die nächsten 2 Tage wenn er schreibt? Zumal die Aussage generell falsch ist „El Capitan“ wird Epyc + Instinct (ja den hier) benutzen.

https://en.m.wikipedia.org/wiki/El_Capitan_(supercomputer)

Außerdem ist es natürlich lustig das AMD selbst Nvidia gekontert hat. Immer weiter so, Monopolismus ist grauenhaft.

 

[ETI1120]

“Denn die Server werden auch bei AMD nicht angetrieben etwa von eigenen Epyc-CPUs, es kommt sowohl bei AMD als auch Nvidia ein Intel Xeon aus der Familie Sapphire Rapids zum Einsatz.”

Sinnlose Verallgemeinerung, man kann auch Epyc in die server tun, denkt der Author nur an die nächsten 2 Tage wenn er schreibt?

Was soll dieser Unsinn. Es geht darum, dass AMD die Benchmarks mit Intel CPUs gemacht hat. Und um nichts anderes.

Zumal die Aussage generell falsch ist „Frontier“ wird Epyc + Instinct (ja den hier) benutzen.

Und Du hast wohl generell nicht verstanden um was es geht.

 

[stefan92x]

Nach der Übernahme von Xilinx habe ich eigentlich damit gerechnet, dass ein großer XDNA Chip kommt. So war es eigentlich auf den Roadmaps vom FAD 2022 stand.

Ich vermute, auch das ist ein bisschen durch den stärkeren Schwenk Richtung AI für CDNA verursacht worden. Wenn LLNL (und die Industrie als ganzes) eben in ihren HPC-Systemen auch immer mehr AI haben wollen, dann muss das in CDNA rein und XDNA als extra Lösung wird weniger interessant für das Datacenter

Ergänzung (16. Dezember 2023)

„El Capitan“ wird Epyc + Instinct (ja den hier) benutzen.

Wird er tatsächlich nicht, da Instinct M300A eine APU ist und gar keine zusätzlichen CPUs braucht. Gerade das ist ja das besondere an dem System, dass die Kommunikation zwischen CPU und GPU entfallen kann.

 

[eazen]

Ich vermute, auch das ist ein bisschen durch den stärkeren Schwenk Richtung AI für CDNA verursacht worden. Wenn LLNL (und die Industrie als ganzes) eben in ihren HPC-Systemen auch immer mehr AI haben wollen, dann muss das in CDNA rein und XDNA als extra Lösung wird weniger interessant für das Datacenter

Ergänzung (16. Dezember 2023)

Wird er tatsächlich nicht, da Instinct M300A eine APU ist und gar keine zusätzlichen CPUs braucht

Tatsächlich doch da diese APU leider aus Epyc und Instinct besteht (nennt man APU), nächstes mal etwas weiter denken und nicht zitieren.

 

[stefan92x]

Instinct MI 300A verwendet die gleichen CPU-Chiplets, die auch für Epyc verwendet werden. Und für Ryzen auch. Trotzdem ist es kein Epyc, sondern eine APU bestehend aus Zen 4 CPU-Chiplets und CDNA3 GPU-Chiplets.

Tatsächlich orientiert sich bei AMD derzeit die Benennung der Produkte mehr am IO-Die als am Rest, der damit verbunden wird:

• "Stapel-IO": Instinct MI300 (mit CDNA3 und optional Zen 4)
• "großer Substrat-IO": Epyc/Threadripper (mit Zen 4 und Zen 4c)
• "kleiner Substrat-IO": Ryzen (mit Zen 4)

 

[incurable]

Wenn das Ding wirklich so viel leistet wie AMD sagt, kostet es auch das gleiche.

... oder mehr. Was im Übrigen schon immer AMDs Preispolitik war, auch wenn bestimmte Teile der Anhängerschaft dieses gern vergessen.

Ergänzung (16. Dezember 2023)

Das Abwracken hat Ex-ATI überwiegend selbst erledigt. Sehr viele Leute haben das neue Unternehmen verlassen, von ATI waren schlechte Produkte in der Pipeline und weil die Leute von ATI haben sich im Grunde gegen die Übernahme gewehrt. Dadurch haben sich die ganzen Fusion Projekte verzögert.

Man darf nicht vergessen, dass die Übernahme dem Unternehmen 5,4 Milliarden USD (2006) entzog, während ATi auf Jahre hinaus nicht nennenswert positiv zum Geschäftergebnis beitragen konnte.

Die KI-Beschleuniger-Umsätze müssten schon im vergleichbaren Maß wie bei Nvidia explodieren, um das Ganze nach bald zwei Jahrzehnten noch in ein positives Licht zu stellen.

Ergänzung (16. Dezember 2023)

Tatsächlich doch da diese APU leider aus Epyc und Instinct besteht (nennt man APU)

AMD EPYC™ ist eine Handelsmarke von AMD. Die hier besprochenen Produkte vertreibt AMD unter einer anderen Handelsmarke, nämlich AMD Instinct™.

 

[pipip]

Ergänzung (16. Dezember 2023)

Man darf nicht vergessen, dass die Übernahme dem Unternehmen 5,4 Milliarden USD (2006) entzog, während ATi auf Jahre hinaus nicht nennenswert positiv zum Geschäftergebnis beitragen konnte.

Ich stelle da jetzt die gewagte Behauptung auf, ohne den Kauf gäbe es AMD heute nicht mehr. Das selbe gilt für den Abstoß der eigen Fabs.

Der Deal mit MS und Sony bezüglich Konsolen APUs, hat AMD zwar nicht viel verdienen lassen, aber gemeinsam mit Sony und MS ist mehr oder weniger die Cats-Cores entstanden und diese sind sicherlich auch in Zen hineingeflossen. Sony und MS, speziell letzteres haben auch viel bei dem APU Design mitgewirkt, man denkt da an XBOX 360 APU. Mit beiden hat man bestimmt auch RDNA entwickelt.

AMD selbst wollte GCN durchaus HPC abgreifen und Bulldozer war hier nichts anderes vom Gedanken her. Leider haben beide im Bereich Consumer schlechte Werte geliefert. Das könnte wie schon von jemand erwähnt, mit GF zutun gehabt haben. Einfach zu wenig Geld für die Entwicklung und GF fertigt mittlerweile für einen ganz anderen Bereich.

Auch hier bin ich überzeugt, mit den Konsolen Deals hat man mehr und mehr planbare Fertigungsstraßen bekommen, worauf AMD Designs abstimmt worden sind und das eben bei TSMC.
Sprich diese Deals dürfte auch Lisa Su bewegt haben, ihre All-In-Wette auf TSMC zu setzen. (Man erinnert sich auch, dass man indirekt auch bei Samsung gefertigt hat, zu mindestens vom Design her, welches GF lizenziert hatte um bei der Fertigung mithalten zu könne, 14/12nm)

So war vllt ATI damals nicht der Gewinnbringer, aber auf lange Zeit betrachtet ein Pferd um die Strategie "Fusion is Future" umzusetzen und eine Zeit lang war es bezüglich HPC APU, bzw HSA auch sehr still geworden. Eben weil Zen durchaus ein Erfolg war/ist. Trotz allem vor 1-2 Jahren Lisa Su betont hat, dass wir APUs bald in Server endlich sehen werden. (ich nehme jetzt jene APUs im Consumer Bereich raus).

Wie es ausgesehen hätte, wenn AMD NV gekaufte hätte mit der Bedingung Huang als CEO, wer weiß es schon.

Wäre Intel vllt früher in den GPU Markt eingestiegen?

 

[eastcoast_pete]

Der letzte Satz im zweiten Update ist schon köstlich: sowohl Nvidia als auch AMD benutzten/benützen hier Intels Sapphire Rapid Xeons in den Servern für ihre KI/HPC Beschleuniger. Wobei das vielleicht auch nicht so überraschend ist, Sapphire Rapids wurde ja auch für derartige Anwendungen geplant und entwickelt. Einer (nicht der einzige!) Grund warum Nvidia dann die Entwicklung ihrer eigenen CPU Kerne auf ARM Basis forcierte war daß Intel bei Sapphire Rapids ewig lange nicht zu Potte kam. Ursprünglich wollte Nvidia ja ihre Beschleuniger mit SR paaren, aber nach über 2 Jahren Verspätung hatten sie wohl genug.

 

[stefan92x]

Sony und MS, speziell letzteres haben auch viel bei dem APU Design mitgewirkt, man denkt da an XBOX 360 APU.

Da vertust du dich um eine Generation. Die erste Xbox mit APU war die Xbox One, die 360 hatte noch eine IBM PowerPC-CPU und eine GPU von ATI (bei TSMC gefertigt). Richtig ist aber, dass AMD (ex-ATI) ab dieser Generation dabei war - die originale Xbox war noch mit Intel-CPU und Nvidia-GPU unterwegs.

 

[eastcoast_pete]

Der Erfolg von AMDs Instinct MI 300 wird allerdings auch davon abhängen, wieviel Packaging Kapazität sie bei TSMC reservieren konnten (reserviert haben). Denn die Beschleuniger von sowohl Nvidia (für ihre H und GH Beschleuniger) als auch AMD sind zur Zeit nur mit den Packaging Technologien von TSMC so möglich, und der Hauptgrund, warum Nvidia lange nicht so viele H und GH verkaufen kann wie Kunden haben wollen ist der Engpass im Packaging bei TSMC. Der wird sich erst später in 2024 entspannen, wenn TSMCs neue Packaging Anlage fertig werden soll. Wenn AMD sich mit Packaging Kapazität vertraglich gut eingedeckt hat, könnten sie in der Tat Nvidia viele Kunden abnehmen. Microsoft hat ja nicht nur wegen der guten Leistungen eine große Zahl von MI 300 gekauft; Nvidia konnte wohl einfach nicht so schnell so viele Beschleuniger liefern, wie MS sie haben wollte.

 

[stefan92x]

Wobei das durchaus etwas kurios ist, da die MI300 ja deutlich komplexer ist als Nvidias H100. Die muss ja nur mit dem HBM verheiratet werden und ist ansonsten ein Monolith, während AMD anstelle eines Monoliths 12 oder 13 (A vs X) Chiplets stapeln und dann miteinander (und dem HBM) verbinden muss.

 

[pipip]

Da vertust du dich um eine Generation. Die erste Xbox mit APU war die Xbox One, die 360 hatte noch eine IBM PowerPC-CPU und eine GPU von ATI (bei TSMC gefertigt). Richtig ist aber, dass AMD (ex-ATI) ab dieser Generation dabei war - die originale Xbox war noch mit Intel-CPU und Nvidia-GPU unterwegs.

https://en.wikipedia.org/wiki/Xenon_(processor)

The Xbox 360 S introduced the XCGPU, which integrated the Xenon CPU and the Xenos GPU onto the same die, and the eDRAM into the same package. The XCGPU follows the trend started with the integrated EE+GS in PlayStation 2 Slimline, combining CPU, GPU, memory controllers and IO in a single cost-reduced chip. It also contains a "front side bus replacement block" that connects the CPU and GPU internally in exactly the same manner as the front side bus would have done when the CPU and GPU were separate chips, so that the XCGPU doesn't change the hardware characteristics of the Xbox 360.

XCGPU contains 372 million transistors and is manufactured by GlobalFoundries on a 45 nm process. Compared to the original chipset in the Xbox 360 the combined power requirements are reduced by 60% and the physical chip area by 50%.[10][11]

Auch wenn hier CPU und GPU nicht am selben Chip ist, ist es eine Vorstufe zudem und die XBOX One hat das Design dann auf einen Chip gebracht. Denn davor waren die GPUs und CPU auf getrennten Sockeln und Kommunikation über einen BUS.
Somit behaupte ich, der nächste Schritt war mit AMD ein APU Design für Konsolen, oder zu mindestens hat das AMD dazu gebraucht, Cats zu entwerfen und so eine APU für einen Konsolen Chip anzubieten.

da die MI300 ja deutlich komplexer ist als Nvidias H100.

Was bei den abgerufen Preisen fast egal ist, denn es ist wichtiger ein Chip überhaupt zu haben (den man verkaufen kann) und hier spielt zu mindestens AMD die kleineren Chips zu und die verschiedene Fertigung. Es muss nicht ein großer Chip in 5 oder 4nm gefertigt werden. "unwichtigeres" wird dann eben in 6nm gefertigt.
Somit ja komplizierter durch viel "kleben", aber vllt dafür besser verfügbar. Man wird es sehen, ob die Strategie für AMD aufgeht. Denn zurzeit hat es NV schwer alle zu beliefern und dann kommt eben jeder andere verfügbare Chip in Frage, wie jene von AMD und Intel.

 

[eastcoast_pete]

Schade, wenn Firmen glauben sich für solche Präsentationen absurde Unfugsschlagworte wie "3,5D" Verpackung leisten zu müssen.

Diese Schlagworte kommen allerdings auch vom eigentlichen Erfinder und Besitzer der Packaging Technologien die hier verwendet werden, nämlich TSMC. Im Moment gibt's eigentlich nur zwei Firmen, die sowas in der Form können: eine davon ist TSMC, und die andere ist - Intel. Deswegen ist's auch sehr interessant, daß sowohl Jensen Huang (Nvidia CEO) als auch Nvidias CFO in jüngster Zeit öffentlich nette Worte über Intels Fertigungsfähigkeiten geäußert haben. TSMC kommt nämlich zur Zeit einfach nicht nach beim Packaging.

Ergänzung (16. Dezember 2023)

Da geht noch was in Sachen chip size
https://www.cerebras.net/product-chip/

😁

Den Cerebras findet man allerdings auch nicht auf Geizhals im Preisvergleich 😁. Das Ding ist schon enorm, ein 300 mm Wafer ergibt genau einen Chip. Der auch nicht Milliarden, sondern Billionen von Transistoren hat. Benötigt laut offiziellen Angaben um die 2.5 - 3 kW pro Chip.

 

[ETI1120]

Tatsächlich doch da diese APU leider aus Epyc und Instinct besteht (nennt man APU), nächstes mal etwas weiter denken und nicht zitieren.

Wenn Du doch bitte erst einmal verstehen würdest, um was es geht, ...

In der Geschichte mit den ML-Benchmarks mit Nvidia geht es um die MI300X also um die Version die aus 8 XCD besteht. Und hier hat AMD bei den Benchmarks einen Xenon-Server verwendet.

Die MI300A die Du meinst ist in erster Linie für die HPC-Anwendungen interessant.

 

[eastcoast_pete]

Wobei das durchaus etwas kurios ist, da die MI300 ja deutlich komplexer ist als Nvidias H100. Die muss ja nur mit dem HBM verheiratet werden und ist ansonsten ein Monolith, während AMD anstelle eines Monoliths 12 oder 13 (A vs X) Chiplets stapeln und dann miteinander (und dem HBM) verbinden muss.

Das "nur" würd ich allerdings auch in Anführungszeichen setzen. Trivial ist schon das alleine nicht. Außerdem kommt da noch viel an sehr schneller und komplexer Konnektivät dazu, die bei derartigen Beschleunigern absolut essenziell ist, damit die im Verbund auch die Geschwindigkeit erreichen können , die hier erwartet wird. Und das alles muß schön eng beieinander sitzen, damit die zig hunderte von Gigabit pro Sekunde erreicht werden können.