News AMD Strix Halo: Ryzen AI Max mit bis zu 16 Kernen, 40 CUs und 256 GB/s

[Volker]

AMDs „Monster-APU“ Strix Halo ist offiziell: Vier verschiedene Varianten gehen als Ryzen AI Max(+) 300 an den Start. Die auf dieser Basis zur Verfügung stehende Leistung ermöglicht eine ganz neue Klasse an weiterhin kompakten Lösungen mit 16 Zen-5-CPU-Kernen und 40 CUs der RDNA-3,5-Grafiklösung.

Zur News: AMD Strix Halo: Ryzen AI Max mit bis zu 16 Kernen, 40 CUs und 256 GB/s

 

[R O G E R]

Das einzige von der Keynote worauf man sich gefreut hat. RDNA4 ist ja unter gegangen.

Sehr schöne APUs mit brachialer Leistung. Ich hoffe man sieht die auch fürn AM5 Sockel.
Ich denke das ist ne alternative für viele Käufer.

 

[CDLABSRadonP...]

Was wären AMD-Folien ohne einen gehörigen Tacken Fail: Auf Folie 4 gehört ein average +1.4 (+140%) performance und nicht ein average 1.4 (140%) performance...

Spoiler: Edit: Alter Kommentar dazu

Es ist so unglaublich, was sich TSMC, Intel und AMD in Bezug auf Folien erlauben:
Bei TSMC sieht alles so aus, als hätten sich unbezahlte Praktikanten aus der Mittelstufe um das grundlegende Foliendesign gekümmert, bei Intel um die Ebenen sowie bei AMD um die Rechtschreibung und Zahlenwerte.
Denn bei TSMC tummeln sich die unterschiedlichsten Formen und Designs, bei Intel clipped gerne etwas raus bzw. rein und in quasi jedem Satz Folien von AMD ist irgendein skurriler Fehler drinne.

 

[dernettehans]

Hab ich das bei der Vorstellung richtig verstanden, die Dinger sind vielfaches schneller als eine RTX4090 LLMs laufen zu lassen mit bis zu 70B? Wie kann das sein? Das wäre ja der Wahnsinn.

 

[Philste]

Ich hoffe man sieht die auch fürn AM5 Sockel.

256Bit Speicherinterface, das geht nicht auf AM5. Wird jetzt schon seit den ersten Leaks gepredigt.

 

[-MK]

Das ganze jetzt bitte gesockelt auf AM5, am besten gleich noch ne Hand voll HBM2 drauf klatschen 😅

 

[CDLABSRadonP...]

Sehr schöne APUs mit brachialer Leistung. Ich hoffe man sieht die auch fürn AM5 Sockel.

Das ganze jetzt bitte gesockelt auf AM5, am besten gleich noch ne Hand voll HBM2 drauf klatschen 😅

Ausgeschlossen, AM5 unterstützt ausschließlich DualChannel, hier kommt QuadChannel zum Einsatz.

256Bit Speicherinterface, das geht nicht auf AM5. Wird jetzt schon seit den ersten Leaks gepredigt.

Genau.

 

[donativo]

Bin jetzt schon auf die MinisForum Lösungen mit dem 395er gespannt

 

[CDLABSRadonP...]

Hab ich das bei der Vorstellung richtig verstanden, die Dinger sind vielfaches schneller als eine RTX4090 LLMs laufen zu lassen mit bis zu 70B? Wie kann das sein? Das wäre ja der Wahnsinn.

Sie haben halt massig Speicher zur Hand, in dem sie ihr LLM laufen lassen können. Der fehlt einer 4090, das wird ihr hier zum Verhängnis.

Steht übrigens auch in der News:

Es kommt allerdings auch in diesem Fall wieder auf den Kontext an, wie der AI-Benchmark gegen die RTX 4090 zeigt. Das Setup in diesem Test nutzte eine Konfiguration mit 128 GByte RAM (bis zu 96 GByte können dabei von der iGPU adressiert werden), und der große Speicher ist in diesem Fall das, was Strix Halo davonziehen lässt. Alle anderen Tests nutzen 32 GByte RAM unbekannter Geschwindigkeit. Dem TDP-Vergleich liegen 55 Watt für Strix Halo und 450 Watt für die RTX 4090 zugrunde.

 

[Philste]

Hab ich das bei der Vorstellung richtig verstanden, die Dinger sind vielfaches schneller als eine RTX4090 LLMs laufen zu lassen mit bis zu 70B? Wie kann das sein? Das wäre ja der Wahnsinn.

Ganz einfach, die 24GB VRAM der 4090 reichen nicht für ein LLM mit 70B. Der Vergleich ist also so semi sinnvoll.

 

[R O G E R]

Bin jetzt schon auf die MinisForum Lösungen mit dem 395er gespannt

Dann lieber die Lösungen wie der Mini PC von HP da kann man wenigstens die 120W ausnutzen. Die MinisForum Dinger sind zwar cool, aber warum nicht doppelt so groß machen mit mehr erweiterungsmöglichkeiten.

 

[Jan]

Haben wir übrigens auch so in der News erläutert!

 

[dernettehans]

Ganz einfach, die 24GB VRAM der 4090 reichen nicht für ein LLM mit 70B. Der Vergleich ist also so semi sinnvoll.

Ne nix ganz einfach, wieso antwortest du darauf wenn deine Antwort unsinnig ist? Offensichtlich nutzt die APU den normalen RAM für die AI Berechnungen welcher offensichtlich über 24GB liegt ...... Also, kannst gern noch mal auf die Frage antworten aber lieber jemand anderes.

 

[SANDTIGER]

Das hört sich sehr interessant an ich hoffe Minisforum weiss was zu tun ist .

Der größte Ausbau hat leider auch 16 kerne da bin ich gespannt ob nicht der 8 Kerner mit nur 32CU ein TDP Vorteil haben könnte auch wenn er 20% weniger CU hat

 

[Philste]

Ne nix ganz einfach, wieso antwortest du darauf wenn deine Antwort unsinnig ist? Offensichtlich nutzt die APU den normalen RAM für die AI Berechnungen welcher offensichtlich über 24GB liegt ...... Also, kannst gern noch mal auf die Frage antworten aber lieber jemand anderes.

Was möchtest du jetzt von mir? Die 4090 hat 24GB VRAM. Der AI Max im Vergleich hat 128GB RAM, von denen 96GB für die GPU reserviert wurden. Das ist mal eben der 4fache VRAM der 4090. Dadurch kommt die Performance. Die 4090 erstickt an ihren 24GB VRAM wie die 4060 in Indiana Jones an ihren 8GB erstickt.

 

[Jan]

Ne nix ganz einfach, wieso antwortest du darauf wenn deine Antwort unsinnig ist?

Bitte ruhig und höflich bleiben. Er hat geantwortet. Die 4090 kann nur das Modell schnell nutzen, das im Grafikspeicher liegt - der hat 24 GB. Im Benchmark mit Ryzen AI Max kamen 128 GB RAM zum Einsatz, von dfenen die APU 96 GB als Grafikspeicher nutzen kann. Da passen halt größere Modelle rein.

 

[YetiSB]

Das sieht Klasse aus. Ich hoffey die Notebooks damit werden nicht allzu teuer.

 

[dernettehans]

@Philste Vielleicht kommst du ja selber drauf aber wohl nicht. Ich habe von der Leistung gesprochen nicht von der Größe des LLMs.

Ergänzung (Montag um 21:05)

Er hat geantwortet. Die 4090 kann nur das Modell schnell nutzen, das im Grafikspeicher lieg

Danach hab ich nicht gefragt.

 

[SirKhan]

Also ist für die guten LLMs die 4090 deutlich schlechter geeignet also so ein Strix Halo.
Oder umgekehrt, Strix Halo ist genial, wenn man lokal eigene LLMs betreiben will.

War aber auch meine Hoffnung, eben gerade wegen des großes VRAMs. Bin schon gespannt, was die einzelnen Mini-PC-Hersteller daraus machen werden.

 

[Philste]

Danach hab ich nicht gefragt.

Doch. Du hast gefragt, warum Strix Halo das LLM viel schneller laufen lassen kann als eine 4090. Der (V)RAM ist der Grund. Nicht mehr und nicht weniger. Es ist einfach so, was dir jetzt auch schon von 3 verschiedenen Personen hier unabhängig voneinander erklärt wurde.