News AMD Strix Halo: Ryzen AI Max mit bis zu 16 Kernen, 40 CUs und 256 GB/s

[tomgit]

@Philste wäre noch immer günstiger als ein MacBook Pro, womit sich das Ding messen kann/wird.

Ich bin sehr gespannt auf die Chips, hfftl. stellt Lenovo morgen was schönes damit vor. Dann wird es auch zügig was mit Linux-Support

 

[LamaMitHut]

Btw, was schätzt ihr so was Geräte mit dem juten Dingen kosten? Ich sage mal für die top SKU 3000€ aufwärts, was wohl bedeuten würde, dass der Hype schnell wieder vorbei ist.

Und warum? Ist Dank den ganzen RAM wahrscheinlich auf Augenhöhe mit der 5090 angeht was gewisse KI - workloads angeht, oder übersehe ich jetzt was. Ist halt Workstation Hardware.

 

[chithanh]

Ich hoffe man sieht die auch fürn AM5 Sockel.

256Bit Speicherinterface, das geht nicht auf AM5.

AMD braucht das Speicherinterface nicht in seiner Gesamtheit herauszuführen.
Bei Kaveri war es auch so, der hatte ein GDDR5-Interface, aber auf FM2+ lag es brach.

Ähnlich ist es mit PCIe-Lanes: Alle Ryzen-CPUs (nicht die APUs) haben davon 32, aber nur 24 Lanes werden auf AM4 und 28 Lanes auf AM5 über den CPU-Sockel herausgeführt. Nur auf bestimmten BGA-Plattformen nutzten die vollen 32 Lanes.

 

[CDLABSRadonP...]

@Philste wäre noch immer günstiger als ein MacBook Pro, womit sich das Ding messen kann/wird.

Ja, das ist richtig. Dass der gewählte Konkurrent der M4 Pro ist, ist offensichtlich.
Die große Frage wird sein, was die OEMs alles draus machen werden.

 

[tomgit]

was die OEMs alles draus machen werden.

Das von HP angekündigte sieht zumindest mal gut aus: https://www.notebookcheck.com/Klein...auncht-mit-AMD-Ryzen-AI-Max-Pro.941390.0.html
Große Frage ist jetzt nur der Preis. Mein Mac braucht ein Upgrade

 

[Piktogramm]

256Bit Speicherinterface, das geht nicht auf AM5. Wird jetzt schon seit den ersten Leaks gepredigt.

AMD braucht das Speicherinterface nicht in seiner Gesamtheit herauszuführen.

Naja, die Ram-Chips sitzen auf dem selben Diecarrier, auf AM5 müsste AMD entsprechend gar kein Speicherinterface irgendwohin führen. Problematisch ist eher, dass AM5 meines Wissens keine Spannungsversorgung für DDRam bereitstellt.

Edit: Ne, dass sind ja CCDs. Dann ist es kein RAM und das Speichernterface müsste extern terminieren. So macht es auf AM5 keinen Sinn. Diesen Chip mit halber Speicherbandbreite wäre recht sinnig.

 

[Philste]

Und warum? Ist Dank den ganzen RAM wahrscheinlich auf Augenhöhe mit der 5090 angeht was gewisse KI - workloads angeht, oder übersehe ich jetzt was. Ist halt Workstation Hardware.

Zugegeben, dafür kann es Sinn machen. Aber der Hype in dem Techforen dürfte ja eher von Gamern gekommen sein, die darin den großen Durchbruch im APU Segment zum zocken sehen. Und da sehe ich das Produkt nicht.

 

[wtfNow]

45-120 Watt... das werden dann wieder so Brüllkisten.
Arm Effizienz habe ich beim MacBook (M2) Pro zu schätzen gelernt und hätte sowas lieber als Windows Variante. Aber ohne entsprechende Hardware...

 

[ArrakisSand]

Speicher haben, oder nicht haben ist hier die Frage und AMD liefert die Antwort und klatscht mit gerade einmal 55W, die 450W saugende RTX 4090 gegen die Wand.

 

[Philste]

AMD braucht das Speicherinterface nicht in seiner Gesamtheit herauszuführen.

Aber dann ist die Frage, wie sinnvoll eine 40CU iGPU auf AM5 mit Dual Channel wäre. Strix Halo hat zwar angeblich auch 32MB MALL/SLC aber wenn Strix Point mit 16CU schon am Dual Channel verreckt wird das wohl nur eingeschränkt helfen. Ich würde da schon Leistungseinbußen >25% erwarten und das ist einfach nicht sinnvoll.

 

[Mextli]

NEIN. Ich fragte, und es war eindeutig: Wieso sollte das Ding so viel mehr LEISTUNG haben LLMs zu berechnen als eine RTX4090 mit einem vielfachen an Cuda Kernen, mit DEUTLICH GERINGERER LEISTUNGSAUFNAHME, bei deutlichem langsameren Speicher!? Das war einfach zu verstehn.

Und bisher ging auch noch niemand so wirklich auf Deine Frage ein, weil sie in der Form keinen Sinn macht. Denn niemand 'berechnet', d.h. trainiert eine LLM auf einer 4090, da müsste schon ein Cluster her.
Was Dir dagegen mehrfach geantwortet wurde ist, daß für Inferencing also die "Abfrage" eines Modells mehr Speicher vorteilhaft ist weil man ein größerer=besseres Modell nutzen kann. Das ist natürlich ein viel geilerer Use Case als trainieren. Auf seinem eigenen Rechner lokal eine 'große' LLM mit brauchbarer Geschwindigkeit laufen zu haben ist nice.
Die andere Alternative zu Grafikkarten, der Mac 4 hat meines Wissens nach nur um 120 GB/s Speicherbandbreite, d.h. beide immer noch deutlich weniger als eine 4090.

 

[tomgit]

45-120 Watt... das werden dann wieder so Brüllkisten.
Arm Effizienz habe ich beim MacBook (M2) Pro ...

Ein MacBook Pro mit M2 Pro zieht auch gerne mal 100W unter Volllast?
https://www.notebookcheck.com/Apple...kleinen-MacBook-Pro-eingebremst.684532.0.html
Der Max-Chip auch mal mehr.

 

[chithanh]

Aber dann ist die Frage, wie sinnvoll eine 40CU iGPU auf AM5 mit Dual Channel wäre.

Der Vollausbau würde sicher beim Speicherinterface limitieren, solange AMD nicht noch einige Tricks wie Infinity Cache auf Lager hat.

Aber die kleineren Modelle könnten gut damit klar kommen. AMD verkauft ja bereits APUs mit teilweise oder ganz abgeschalteter GPU auf AM4 und AM5.

 

[wtfNow]

Ein MacBook Pro mit M2 Pro zieht auch gerne mal 100W unter Volllast?
https://www.notebookcheck.com/Apple...kleinen-MacBook-Pro-eingebremst.684532.0.html
Der Max-Chip auch mal mehr.

Noch wichtiger für mich ist die Effizienz im idle bzw. Browser.

Wie auch immer, wenn irgendwer das Ding mit einem überdimensionierten Kühler ausstattet das überwiegend passiv arbeitet und bei leichter Last kaum warm wird dann wird das MacBook ersetzt.

 

[guggi4]

Wenn es "nur am RAM" liegen würde, ist der Faktor 2,2 aber viel zu klein. Nach meinen Erfahrungen liegen die Geschwindigkeitsunterschiede eher bei Faktor 7-10. In dem Fall wäre die APU richtig schlecht.
Warten wir ab, bis wir Token/Sekunde sehen.

Äh bitte was hast du denn erwartet, die 4090 hat ein vielfaches an ALUs und 9x soviel TDP nur für die GPU?
Selbstverständlich ist die 4090 deutlich schneller, wenn die 24GB ausreichen.

 

[Mika46]

geil wie dieser unsinnige 4090 vergleichs-slide sogar maximale verwirrung in nem tech nerd forum stiftet.

arme normalos

 

[Zarlak]

Ich hoffe man sieht die auch fürn AM5 Sockel.

Technisch unmöglich da Quadchannel.

 

[B3rry]

geil wie dieser unsinnige 4090 vergleichs-slide sogar maximale verwirrung in nem tech nerd forum stiftet.

arme normalos

In welchem Forum meinst du ? Hier sind doch 90 % "normalos"

 

[Oberst08]

Das für mich überraschenste war, dass endlich auch die alte Intel-Bude Dell auf AMD setzt. Schnell, holt mal wer die Kreide, das muss direkt an den Kamin!

Das war eigentlich die größte Hammer für mich in der Präsentation 😅

So überraschend ist das nicht. Dell hatte immer wieder AMD Systeme. Ich habe z.B. einen G5 (5505) mit 4800H und 5600M, also AMD only. Und bei Alienware gab es ein Gerät mit 7945HX3D und 7900M, AMDs noch aktuelle Top-Dogs. Allerdings gab es das nur in den USA. Daher mal abwarten, wo man die Dell Kisten kaufen kann.

Wenn es "nur am RAM" liegen würde, ist der Faktor 2,2 aber viel zu klein. Nach meinen Erfahrungen liegen die Geschwindigkeitsunterschiede eher bei Faktor 7-10. In dem Fall wäre die APU richtig schlecht.
Warten wir ab, bis wir Token/Sekunde sehen.

Naja, du musst folgendes bedenken:

• Der von der APU genutzte Ram ist viel langsamer als dedizierter VRAM
• Die APU hat viel weniger Shader/Rechenleistung als eine 4090
• Die TDP ist auch entsprechend begrenzt

Entsprechend kann das schon durchaus sein. Die 4090 ist ja auch kein Konkurrent, der Vergleich soll einfach nur die Aufmerksamkeit der Leute fangen. Konkurrenz ist da eher M4Pro und ähnliches. Oder mobilere/dünnere Laptops mit vielleicht 4060M/5060M(?) oder so. Und die werden da je nach Modell von (vielleicht) etwas schneller (wenn der VRam reicht) bis eklatant viel langsamer (wenn er eben nicht reicht) landen. Da sind dann auch eher deine genannten Zahlen (Faktor 7-10) realistisch, weil die GPU nicht so viel schneller ist als bei der APU und dann auch noch ein x8 PCIe Interface verwendet wird (x16 gibt es ja im Laptop nicht mehr, wobei die Bandbreite vermutlich gar nicht so relevant ist).

 

[Azdak]

@guggi4 ich glaub, du hast mich missverstanden. 🙂

Edit:
@Oberst08 irgendwie du auch.

Mir ist klar, das die gpu massiv an Leistung verliert, wenn der VRAM nicht reicht. Ich wundere mich, warum aber, sollte das der Fall sein, auf den Folien von AMD 2.2x steht und nicht 7.5x oder gar 10x und daher misstraue ich der hier breit vertreten Theroie. Wissen werden wir es erst, wenn es unabhängige benches gibt... Wie immer.