News AMD Strix Halo: Ryzen AI Max mit bis zu 16 Kernen, 40 CUs und 256 GB/s

[MaverickM]

Das für mich überraschenste war, dass endlich auch die alte Intel-Bude Dell auf AMD setzt. Schnell, holt mal wer die Kreide, das muss direkt an den Kamin!

 

[dernettehans]

Doch. Du hast gefragt,

NEIN. Ich fragte, und es war eindeutig: Wieso sollte das Ding so viel mehr LEISTUNG haben LLMs zu berechnen als eine RTX4090 mit einem vielfachen an Cuda Kernen, mit DEUTLICH GERINGERER LEISTUNGSAUFNAHME, bei deutlichem langsameren Speicher!? Das war einfach zu verstehn.

 

[ATIst]

Das für mich überraschenste war, dass endlich auch die alte Intel-Bude Dell auf AMD setzt. Schnell, holt mal wer die Kreide, das muss direkt an den Kamin!

Das war eigentlich die größte Hammer für mich in der Präsentation 😅

 

[Giana]

Strix Point bietet regulär via LPDDR5-7500 96 GByte pro Sekunde als Bandbreite

Da hast du dich verrechnet, 7,5GHz x 16 Bytes sind 120 GByte/s.

 

[pipip]

Das für mich überraschenste war, dass endlich auch die alte Intel-Bude Dell auf AMD setzt. Schnell, holt mal wer die Kreide, das muss direkt an den Kamin!

Und nicht nur das, direkt auf der Bühne. Das muss schon ordentlich geschmerzt haben..

 

[MaverickM]

Das muss schon ordentlich geschmerzt haben..

 

[CDLABSRadonP...]

NEIN. Ich fragte, und es war eindeutig: Wieso sollte das Ding so viel mehr LEISTUNG haben LLMs zu berechnen als eine RTX4090 mit einem vielfachen an Cuda Kernen, mit DEUTLICH GERINGERER LEISTUNGSAUFNAHME, bei deutlichem langsameren Speicher!? Das war einfach zu verstehn.

Genau. Es war eindeutig. Und zwar eben so, wie @Philste es verstanden hat.

 

[Patrick.Star]

"Ryzen AI Max+ Pro", Kann man es noch verwirrender machen?
AMD kombiniert einfach alle Tier Levels vom iPhone.

 

[Northstar2710]

Das war einfach zu verstehn

weil du nicht verstehst das bei einem 70b lLM model min. 35gb VRAM benötigt werden. Der ryzen Halo kann wegen dem dem hohen VRAM sauber seine Arbeit verrichten. Was eine Rtx4090 nicht kann, da ihr der speicher ausgeht, somit ist sie einfach langsamer obwohl sie vom chip her stärker ist.

 

[Giana]

Den GPU-Vollausbau nur mit einem fetten 16-Kerner im Laptop macht jetzt nicht wirklich den Eindruck das das als Gaming-Lösung gewünscht ist.

 

[memory_stick]

@dernettehans
Nochmals: Wenn das Modell nicht vollständig in den VRAM passt, müssen Weights via PCIe interface aus dem allfälligen System RAM geladen werden, um das Modell überhaupt ausführen lassen zu können. Dadurch geht die Performance (normalerweise in tokens/s gemessen) in den Keller, weil Memory bound (Bandwith starved).
Strix Halo erlaubt also grössere Modelle (durch mehr VRAM) als auch schnellere execution von grossen Modellen, da alles näher bei den eigentlichen Recheneinheiten liegt (direkt via 256GB/s aus dem Unified RAM statt via PCIe teilweise mit 32GB/s (unidirektional) aus dem System RAM mit PCIe4)

 

[Hate01]

NEIN. Ich fragte, und es war eindeutig: Wieso sollte das Ding so viel mehr LEISTUNG haben LLMs zu berechnen als eine RTX4090 mit einem vielfachen an Cuda Kernen, mit DEUTLICH GERINGERER LEISTUNGSAUFNAHME, bei deutlichem langsameren Speicher!? Das war einfach zu verstehn.

Zu wenig Speicher. 24 GB VRAM gehen schnell aus.

 

[Col. Jessep]

Ich freue mich auf Tests. Das wird ein schöner Mini-PC.

 

[Nazrael]

NEIN. Ich fragte, und es war eindeutig: Wieso sollte das Ding so viel mehr LEISTUNG haben LLMs zu berechnen als eine RTX4090 mit einem vielfachen an Cuda Kernen, mit DEUTLICH GERINGERER LEISTUNGSAUFNAHME, bei deutlichem langsameren Speicher!? Das war einfach zu verstehn.

Und auch hier die erneute Erklärung: Wegen dem (V)Ram und der Größe der verwendeten LLMs die nicht in den Speicher der 4090 passen, das führt dazu das teile des LLMs permanent aus dem System geladen werden müssen und da bringen auch 30000000.. Cuda Kerne mehr nichts.

 

[esterhasz]

NEIN. Ich fragte, und es war eindeutig: Wieso sollte das Ding so viel mehr LEISTUNG haben LLMs zu berechnen als eine RTX4090 mit einem vielfachen an Cuda Kernen, mit DEUTLICH GERINGERER LEISTUNGSAUFNAHME, bei deutlichem langsameren Speicher!? Das war einfach zu verstehn.

Die 4090 kann das 70B Modell auch berechnen, muss dann aber vom Videospeicher in den Hauptspeicher swappen und wird dadurch viel langsamer, fast 10x langsamer.

 

[Tigerfox]

Speicherbandbreite bei bis zu 256 GByte pro Sekunde liegen. Bisherige APUs hatten und haben exakt diesen Punkt als Schwachstelle.

Strix Point bietet regulär via LPDDR5-7500 96 GByte pro Sekunde als Bandbreite, Strix Halo wäre in diesem Fall also fast dreimal so schnell unterwegs.

* Wie genau AMD das bewerkstelligt hat, verriet der Konzern auf der Pressekonferenz allerdings noch nicht

Ersteinmal hat Strix Point auch an LPDDR5-7500 nicht nur 96GB/s, es müssten bei einem 128Bit-Speicherinterface 120GB/s sein. 96GB/s entsprechen DDR5-6000.
Und dann entsprechen 256GB/s genau LPDDR5-8000 an einem 256Bit-Speicherinterface. Auch Strix Point und Krackan unterstützen offiziell LPDDR5-8000. Den gibt es zwar nirgends, sondern nur LPDDR5-8533, aber dann läuft der wohl gedrosselt.

 

[Philste]

Btw, was schätzt ihr so was Geräte mit dem juten Dingen kosten? Ich sage mal für die top SKU 3000€ aufwärts, was wohl bedeuten würde, dass der Hype schnell wieder vorbei ist.

 

[CDLABSRadonP...]

"Ryzen AI Max+ Pro", Kann man es noch verwirrender machen?
AMD kombiniert wohl einfach alle Tier Levels vom iPhone.

Ich zitiere dazu einen der besten Kommentare, die ich hier jemals gelesen habe:

"Max" kommt in den Ausführungen "Max", "Mäxchen" und "Maxens kleine Schwester Lilly."

(Kontext war damals allerdings die Intel Data Center GPU Max, Codename Ponte Vecchio.
Technisch würde mich aber sehr interessieren, ob der Ryzen AI Max Pro 380 alias Lilly denn auf das gleiche GPU-IO-DIE setzt wie die größeren Ausführungen oder ein eigenes erhält.

 

[Azdak]

Wenn es "nur am RAM" liegen würde, ist der Faktor 2,2 aber viel zu klein. Nach meinen Erfahrungen liegen die Geschwindigkeitsunterschiede eher bei Faktor 7-10. In dem Fall wäre die APU richtig schlecht.
Warten wir ab, bis wir Token/Sekunde sehen.

 

[NIGHTFIL]

Strix Halo ohne rdna4 und somit ohne fsr 4? Määähhh.... Doch keine eierlegende wollmilchsau