News AMD Strix Halo: Ryzen AI Max mit bis zu 16 Kernen, 40 CUs und 256 GB/s

[ETI1120]

Benchmarks
vidia RTX 4070
Core i9-13900H
(ROG Flow Z13) Notebook/ mobile Version der Hardware

VS:

AMD Ryzen AI Max+ 395 w/ AMD
Radeon 8060

https://www.amd.com/content/dam/amd...-max-series-how-to-sell-guide-competitive.pdf

Auf der CES hat AMD nur Benchmarks von Strix Halo gegen Lunar Lake gezeigt, nicht sinnvoll.

Bei diesem Benchmark schlägt neben der begrenzten TDP auch der Formfakor zu Buche.
Das wird in Desktopgeräten anders ausschauen.

Aber das PDF haut mich fast vom Hocker, AMD kann also gutes Infomaterial für die Verkäufer bereitstellen.

Erstes Produkt:
/gmktec-announces-/AMD Ryzen AI 9 Max+ 395 Prozessor MiniPC, Verfügbarkeit H1 2025

War bereits auf CB:
https://www.computerbase.de/news/pc...it-amd-ryzen-ai-max-strix-halo-geplant.91001/

Das erste ist es auch nicht, da AMD auf der CES schon 3 Geräte gezeigt hat:

https://www.computerbase.de/news/pr...u-16-kernen-40-cus-und-256-gb-s.90611/#bilder

 

[Northstar2710]

Das wird in Desktopgeräten anders ausschauen

Halo ist aber auch nicht für den desktop gedacht. Also bleibt der Mobil faktor. Und da kann es interessant werden, weil es je nach laptop minipc mal mehr mal weniger tdp bereit steht für die Hardware

 

[ETI1120]

Halo ist aber auch nicht für den desktop gedacht.

Strix Halo wird nicht für AM5 erscheinen.

Natürlich kommt Strix Halo auf den Desktop. Es sind bereits 2 Geräte bekannt.
Siehe auch meinen Post. Es gibt immer noch kein Datenblatt zum HP Z2 mini G1a.
Falls es auch noch Geräte mit LPCAMM2 geben sollte, wäre allerdings gut.

 

[Northstar2710]

Natürlich kommt Strix Halo auf den Desktop. Es sind bereits 2 Geräte bekannt

es ist aber eher ein Minipc, als ein Desktop PC.

 

[ETI1120]

@Northstar2710 Für was kauft man sich eine APU für eine Desktopmaschine, außer man will es unbedingt klein und kompakt?

Natürlich kann man eine APU auch in einem Towergehäuse verbauen, aber was bringts?

Ich wollte schon wegen 4 Lanes PCIe 4.0 für den Grafikkartenslot lästern, aber die RTX5090 verliert ja nur 6% bei 3840x2160 gegenüber 16 Lanes PCIe 5.0. Bei 1920x1080 wären es 11 %

 

[uberLemu]

4 Lanes PCIe 4.0 für den Grafikkartenslot

Im nbcheck-Interview wird sehr deutlich und ausführlich gesagt, dass Strix Halo keine dGPU unterstützen wird; sogar explizit ausgerechnet: ~20 Lanes in Standard-APUs minus 8 Lanes für dGPU ergibt die 12 Lanes von Strix Halo. Diese sollen 2x SSD und übriges I/O versorgen. Und dieses Zitat kann man sogar so verstehen, dass AMD nicht einmal eine Software-Unterstützung plant:

Ben: The Ryzen AI Max does not support dGPU attached. Since we already have a dGPU class APU there's really no reason. You can't, you know, CrossFire them, so there's no point turning them on at the same time. Honestly, why would an OEM buy this solution and then try to bolt on a dGPU as now you are in a kind of the same form as an existing gaming form factor.

Sobald man den kompakten Formfaktor verlässt und Platz für eine dGPU hat, ergibt Strix Halo keinen Sinn mehr - was die Einsatzszenarien sehr spitz macht und vielleicht auch mangelnde öffentliche Aufmerksamkeit zumindest teilweise erklärt.

 

[ETI1120]

Im nbcheck-Interview wird sehr deutlich und ausführlich gesagt, dass Strix Halo keine dGPU unterstützen wird;

Das kannte ich am Sonntag noch nicht. Vorher hatte ich Angaben mit 12 und mit 16 Lanes gesehen.

sogar explizit ausgerechnet: ~20 Lanes in Standard-APUs minus 8 Lanes für dGPU ergibt die 12 Lanes von Strix Halo. Diese sollen 2x SSD und übriges I/O versorgen. Und dieses Zitat kann man sogar so verstehen, dass AMD nicht einmal eine Software-Unterstützung plant:

Bei Halo ergibt es Sinn da abzustrippen. Es senkt die Systemkosten.

Sobald man den kompakten Formfaktor verlässt und Platz für eine dGPU hat, ergibt Strix Halo keinen Sinn mehr - was die Einsatzszenarien sehr spitz macht und vielleicht auch mangelnde öffentliche Aufmerksamkeit zumindest teilweise erklärt.

Ich finde Halo hat sehr große Aufmerksamkeit.

Es ist eher die etwas zähe Zusammenarbeit von AMD mit den OEM die hinderlich ist.

 

[uberLemu]

Es sind eh schon zu viele Threads zum Thema aktiv, deshalb schreibe ich das jetzt randomly hier rein:

Wer hätte vor ein paar Jahren gedacht, dass ausgerechnet AMD einmal dazu in der Lage sein würde, eine technisch an allen Ecken ausgereiftere Version von Kaby Lake-G zu bauen. Und diesmal könnte sogar das Marktumfeld passen, KI sei dank.

 

[Martyn]

Die 50 TOPS NPU reicht natürlich das man solche Notebooks als Microsoft Copilot kompatibel labeln und vermarkten kann, aber sonst wüsste ich eigentlich nichts was man mit so einer NPU anstellen soll.

Und ansonsten finde ich wird die Ryzen AI Max mit Strix Halo schwer haben, denn:

- für richtige Gaming-Notebooks sind sowohl von der CPU als auch der GPU her zu schwach. Da ist ein Ryzen 7 8845HS oder Ryzen 9 8945HS und vielleicht demnächst auch ein Ryzen 7 260 oder Ryzen 9 270 mit dedizierter GeForce RTX 4070 Mobile oder vielleicht demänächt auch GeForce RTX 5070 Mobile oder RTX 5070 Ti Mobile die bessere Wahl

- für preiswerte gamingtaugliche Crossover-Notebooks sind sie zu teuer. Da ist dann ein Ryzen 5 8640U oder Ryzen 7 8840U und vielleicht demnächst ein Ryzen 5 230 oder Ryzen 7 250 mit dedizierter GeForce RTX 4050 Mobile oder RTX 4060 Mobile und vielleicht demnächst auch GeForce GeForce RTX 5050 Mobile oder RTX 5060 Mobile die bessere Wahl

- für kompakte Subnotebooks sind sie zu stromhungrig. Da muss dann aktuell eine Da ist dann ein Ryzen 5 8640U oder Ryzen 7 8840U und vielleicht demnächst ein Ryzen 5 230 oder Ryzen 7 250 die bessere Wahl, und als GPU muss dann die Radeon 760M oder 780M reichen

 

[ghecko]

aber sonst wüsste ich eigentlich nichts was man mit so einer NPU anstellen soll.

Große LLMs lokal laufen lassen, in einem kleinen, mobilen Formfaktor.

• CPUs allein sind dabei zu langsam und haben zu wenig Speicherbandbreite, aber haben theoretisch genug Speicher.
• GPUs haben genug Leistung und genug Speicherbandbreite, aber zu wenig Speicher.

Ob dabei die NPU genutzt wird oder nicht ist vorerst egal, denn die GPU der APU ist schnell genug dafür. Wenn die NPU das übernehmen kann ist das nur die Kirsche auf der Torte.

Strix Halo ist genau genommen die kleinste Version der MI300A. Und dafür wird er vergleichsweise günstig sein.

 

[Martyn]

Das ist aber generell sehr Special Interesst und für Privat- und Kleingewerbekunden kaum intressat. Höchstens für Informatikstudenten die in dem Bereich ihre Masterarbeit schreiben wollen.

Weil ansonsten hab ich schon bedenken das 50 TOPS für ein vernünftig funktionierendes, lokakles LLM viel zu wenig sind.

Hätte da an Hardware eher an einen einen AMD Ryzen 7 8700G (dessen iGPU dann das Grafikinterface bedienen soll wenn man lokal daran arbeitet) und eine Nvidia GeForce RTX 5070 die dann die TOPS für das LLM bieten soll gedacht als Einstieg wenn man sich die Grundlagen aneignen will.

Wenn man es wirklich in einem mittleren Unternehmen sinnvoll einsetzen möchte, müsste man wohl eher auf ein halbes Serverrack gefüllt Nvidia Tesla K80 Karten oder sowas gehen.

 

[Northstar2710]

- für richtige Gaming-Notebooks

für preiswerte gamingtaugliche Crossover-Notebooks

Diese APU ist auch garnicht dafür gedacht. Sondern ist eher für den Workstation bereich . Nur apple bietet ein passendes konkurrenz Produkt. Sicher kann man ihn auch als zum Gamen nehmen, wobei 16 cores dort niemand braucht.

Für kleinere systeme sind dann eher die abgespeckten ausführungen.

Es ist wohl eher Buisness Markt den AMD damit aufmischen will, da wird auch die meisste Kohle gemacht.
Diese APU ist nicht für die masse an Consumer produkten, dafür ist Krakan und Strixpoint ohne oder in verbindung einer DGPU.

 

[ghecko]

Das ist aber generell sehr Special Interesst und für Privat- und Kleingewerbekunden kaum intressat.

Nein, ist mittlerweile extrem interessant. Gerade im Supportbereich ist das extrem lukrativ. Viele haben KI oder LLMs im spezifischen auch schon in ihren Workflow integriert und das wird sich noch enorm steigern, wenn die Möglichkeiten wachsen. Und schon alleine aus Datenschutzbedenken wünschen sich viele, dass das lokal läuft. Strix Halo ist hierbei die x86-Lösung mit dem höchsten Potential dafür.

 

[Martyn]

Aber auch da fällt mir jetzt keine wirkliche Anwendung ein wo man diese Kombination brauchen könnte.

Für reine Verwaltungsarbeitsplätze ist sie mit sovielen Cores und einer doch recht passablen iGPU ebenso überdimensioniert. Und da wird gerade bei Geschäftskunden mit noch spitzerem Stift kalkuliert als im Privatkundenmarkt.

Für richtige Workstations für Grafiker oder 3D Modellierung für komplexe Strukturen hingegen dürfte man doch recht schnell an die Grenzen kommen. Ich will jetzt nicht sagen das es garnicht reichen würde, aber wirklich sensationell ist da die Hardware dann auch nicht.

 

[Northstar2710]

Hätte da an Hardware eher an einen einen AMD Ryzen 7 8700G (dessen iGPU dann das Grafikinterface bedienen soll wenn man lokal daran arbeitet) und eine Nvidia GeForce RTX 5070 die dann die TOPS für das LLM bieten soll gedacht als Einstieg wenn man sich die Grundlagen aneignen will.

Ich glaube eher weniger das es hier um grundlagen geht.

Für richtige Workstations für Grafiker oder 3D Modellierung für komplexe Strukturen hingegen dürfte man doch recht schnell an die Grenzen kommen. Ich will jetzt nicht sagen das es garnicht reichen würde, aber wirklich sensationell ist da die Hardware dann auch nicht.

Ich glaube da eher das Gegenteil. Die 16 cores und 128GB RAM(96gb VRAM) sind ideal für sollche Aufgaben, Die Leistung der GPU reicht für sowas bei weitem aus. Dazu kannst du dann noch grössere LLM lokal ausführen. Dazu gepackt in einen Laptop. Bin gespannt wann die ersten Modelle von den OEM'S angeboten werden. Ich hoffe es dauert nicht bis Sommer.

Sicher ist das kein Gerät für einen verwaltungsplatz.

 

[ghecko]

Aber auch da fällt mir jetzt keine wirkliche Anwendung ein wo man diese Kombination brauchen könnte.

Lokale LLMs IST die Anwendung. Man kann auf dem Ding arbeiten und gleichzeitig sein lokales LLM laufen lassen, oder es als LLM-Host in die Ecke stellen, damit der eigentliche Rechner sich damit nicht beschäftigen muss. Günstiger als ein Rechner mit einer RTX5090 ist Strix Halo allemal und für diesen Einsatzzweck sogar besser.

Für richtige Workstations für Grafiker oder 3D Modellierung für komplexe Strukturen hingegen dürfte man doch recht schnell an die Grenzen kommen.

Da limitiert meist der VRAM und von dem hast du mit Strix Halo reichlich.

 

[Martyn]

Lokale LLMs IST die Anwendung.

Bin da skeptisch ob das wirklich so ein grosses Ding ist. Leute die sich damit auskennen sind ja ziemlich rar, und nicht viele Unternehmen wollen sich LLM Experten leisten nur um ein lokales LLM zu betreiben.

 

[ETI1120]

Wer hätte vor ein paar Jahren gedacht, dass ausgerechnet AMD einmal dazu in der Lage sein würde, eine technisch an allen Ecken ausgereiftere Version von Kaby Lake-G zu bauen.

Wieso?

Kaby Lake G war Intels kapern des AMD Traums eine leistungsfähige CPU mit einer leistungsfähigen GPU zu verbinden. Und nun ist eben AMD an der Reihe.

AMD hat als fabless Halbleiterhersteller die Auswahl wer der Fertigungspartner sein soll. Und AMD hat mit ASE und TSMC bisher sehr gut gewählt.

Know How bei Advanced Packaging hatte AMD schon eine Weile. Es haben zwar einige Leute AMD verlassen. Wie Bryan Black, der Erfinder von HBM, der jetzt CEO von Chiplez ist, aber diese Abgänge hat AMD mehr als wett gemacht durch den Zukauf von Xilinx und viele Zugänge von Intel.

Die eigentlich interessanten Dinge kommen erst noch.

Und diesmal könnte sogar das Marktumfeld passen, KI sei dank.

KI kann ein Faktor sein. Der Formfaktor ist der größte Trumpf.

Und ansonsten finde ich wird die Ryzen AI Max mit Strix Halo schwer haben

Warten wir es Mal ab wann und in welcher Preisklasse die Geräte kommen. Es machen sich ein paar Leute Illusionen, aber sehr viele sind sich bewusst für was das "Max" steht.
In jedem APU Thread gibt es Leute, die erzählen lang und breit dass APUs nichts bringen, und doch hat AMD immer Desktop APUs verkauft. Strix Halo bietet was die CPU-, GPU-Leistung und Bandbreite mehr als alle APUs zuvor. Es werden sich schon einpaar Anwendungsfälle finden.

Es soll auch Leute geben die ihr Notebook nicht nur von einem Arbeitsplatz zum anderen Tragen sondern auch mobil einsetzen.

 

[stefan92x]

Bin da skeptisch ob das wirklich so ein grosses Ding ist. Leute die sich damit auskennen sind ja ziemlich rar, und nicht viele Unternehmen wollen sich LLM Experten leisten nur um ein lokales LLM zu betreiben.

Das wächst als Markt, und vor allem muss man dafür ja kein LLM-Experte sein. Software installieren können ist der ganze Skill den man braucht, und das übernimmt im Konzern-Umfeld ja zumindest oft auch noch die IT-Abteilung. Und dann hat man halt ein Plugin oder was auch immer, was den etablierten Workflow mit KI-Funktionen ergänzt

Ergänzung (29. Januar 2025)

Sicher ist das kein Gerät für einen verwaltungsplatz.

Oder vielleicht gerade doch, wenn du ein LLM laufen lässt, dass dir beim formulieren oder zusammenfassen von Dokumenten helfen soll oder ähnliches.