News AMD Strix Halo: Ryzen AI Max mit bis zu 16 Kernen, 40 CUs und 256 GB/s

[stefan92x]

Könnte ich den fetten 16 Kerner dann statt meinem 5900x auf meinem b550 Bord mit 128gb RAM einsetzen?

Nein. Denn der Sockel ist einfach zu klein und hat vor allem zu wenig RAM-Kanäle. Außerdem sprichst du offenbar von AM4 und aktuell wäre ja sowieso AM5.

 

[thelittledevil]

War auch eher ein feuchte traum, als eine reele chance...

Wobei man ja auch eine version mit 32gb HMB on chip bringen könnte.
Aber nachhaltige lange nutzung ist ja nicht im fokus

 

[cr4zym4th]

Ich bin ja mal gespannt, wann die HP-Geräte (Oder Lenovo) damit effektiv verfügbar sein werden. Die Version mit HX 370/375 wurde ja im September bei Notebookcheck getestet und ist immer noch nicht erhältlich. Das Omnibook hat zu wenig Anschlüsse.

Zur Namensgebung: Ein heilloses Chaos, was AMD da veranstaltet. Sei es CPU oder GPU...was auch immer die dabei geraucht haben.

Wie immer ein Trauerspiel bei neuen Geräten mit AMD-CPUs, wo es ca. 1 Jahr lang nur Geräte von Asus gibt.


Das steht auf HPs Webseite:

HP EliteBook X G1a, die neue Ära der KI-PCs​

Ab Dezember 2024 erhältlich

Finde den Fehler:-)

 

[Erenxbo]

Das sieht eigentlich interessant aus, aber FSR 4 hätten sie schon spendieren können, so wird es vermutlich mit Fsr 4 schwierig, da kaum jemand die Technologie nutzen kann.

 

[stefan92x]

Wobei man ja auch eine version mit 32gb HMB on chip bringen könnte.

Nein, denn der Chip hat keine HBM-Controller. Denkbar wäre natürlich LPDDR on Chip, wie wir es von Apple oder Intels Lunar Lake kennen, aber dann passt das ganze Konstrukt durch seine Abmessungen nicht mehr in AM5.

Ergänzung (7. Januar 2025)

Das sieht eigentlich interessant aus, aber FSR 4 hätten sie schon spendieren können, so wird es vermutlich mit Fsr 4 schwierig, da kaum jemand die Technologie nutzen kann.

Würde ich anders sehen. FSR4 ist für Gamer, Strix Halo nicht. Da sehe ich wenig Überschneidungen. Wäre natürlich nett, wenn es ginge, aber da Gamer halt nicht die Zielgruppe sind, auch relativ egal.

 

[Oberst08]

a.) Und ich soll dann den Desktop mitnehmen, wenn ich unterwegs bin?
b.) Ich promoviere, da ist nicht sooo viel mit "Kundenprojekten".

Sorry, aber irgendwie verstehe ich dich nicht ganz. Daher fasse ich mal kurz zusammen, wie sich mir das ganze darstellt:

• Ich hatte geschrieben, dass die 4090 kein Konkurrent/Vergleich zu SH ist
• Das hast du dann negiert, die 4090 ist "der Vergleich"
• Dann hatte ich eingeworfen, dass es neben der 4090 durchaus auch Karten mit mehr VRAM gibt (bis 48GB bei halbwegs vernünftigen Preisen), falls einem die 24GB nicht reichen sollten
• Nun beschwerst du dich, dass du bei diesen Karten einen Desktop/Workstation Rechner bauen musst, diese also nicht mobil sind

Die 4090 ist auch nicht mobil, benötigt genauso Desktop/Workstation. Ergo ist sie eben auch kein Konkurrent / Vergleich zu SH, was ich am Anfang bereits gesagt hatte, du aber negiert hast.

In normal großen LLMs reichen die 24GB der 4090 aus, dann ist die klar schneller und spart damit Zeit und Geld. In übergroßen geht ihr der VRAM aus und sie ist damit langsamer, also auch teurer. Generell ist sie aber immer stationär und damit ein ganz anderes Produkt mit einem anderen Anwendungsbereich, ergo keine Konkurrenz. Dass sich die Anwendungsbereiche vielleicht manchmal überschneiden, das kann durchaus sein. Das passiert aber eher selten, eher ist eine RTX 4090M in einem Workstation Laptop ein Konkurrent (da mobil). Die hat 16GB. Ergo ist die Überschneidung zwischen 4090 und SH nur bei LLMs mit einem Speicherverbrauch zwischen 16GB und 24GB gegeben.

Dass SH für dich ein potentiell interessantes Produkt ist, verstehe ich durchaus, geht vermutlich einigen Entwicklern so. Aber Desktop GPUs richten sich in der Regel an eine ganz andere Klientel als mobile Chips wie SH.

 

[stefan92x]

Dann hatte ich eingeworfen, dass es neben der 4090 durchaus auch Karten mit mehr VRAM gibt (bis 48GB bei halbwegs vernünftigen Preisen), falls einem die 24GB nicht reichen sollten

Was halt immer noch weniger als die 96GB sind, die Strix Halo nutzen kann. Aber ja, natürlich gibt es die W7900 von AMD oder A6000 von Nvidia mit diesen 48GB RAM, die nochmal einiges abfrühstücken können, wofür die RTX4090 zu wenig RAM hat.

Die 4090 ist auch nicht mobil, benötigt genauso Desktop/Workstation. Ergo ist sie eben auch kein Konkurrent / Vergleich zu SH, was ich am Anfang bereits gesagt hatte, du aber negiert hast.

Den Punkt Mobilität hat @tomgit aber nicht aufgebracht, der kam später erst in die Diskussion. Und es ändert nichts daran, dass für diese Anwendungen ein Strix Halo-Laptop einem RTX4090-Desktop durchaus Konkurrenz machen sollte.

 

[Der_Picknicker]

Die Frage ist, wie hoch die Token/s liegt. Wenn der nur bei <15 ist, dann bringt auch die Effizienz wenig..

 

[tomgit]

Den Punkt Mobilität hat @tomgit aber nicht aufgebracht, der kam später erst in die Diskussion.

Hab ich auch nur aufgeführt, weil es an mich gerichtet war.
Und, ja, selbst dann bietet der größere (theoretische) VRAM von Strix Point Vorteile gegenüber einer RTX 4090 oder gar 5090.

 

[KurzGedacht]

Nein, natürlich nicht. Das wäre ja Kundenfreundlich

Als ob das irgendwas mit kundenunfreundlichkeit zu tun hätte.... denkt doch mal ein bisschen mit.

Ergänzung (7. Januar 2025)

Mal ganz doof gefragt, was bringt das einem?
Warum nicht von ChatGPT/Gemini bedienen lassen? Läuft überall...

Mal ein Beispiel:
Es gibt Menschen die nutzen Sprachmodelle als Ersatz oder Ergänzung eines menschlischen Therapeuten bei der Behandlung psychischer Probleme. Die Dinge die man da erzählt, will man nicht unbedingt mit einem Unternehmen wie OpenAI teilen.

 

[gartenriese]

Wurde schon ein Handheld à la Rogue Ally oder so vorgestellt, dass so einen SoC benutzt?

 

[stefan92x]

@gartenriese Strix Halo wirst du nie in einem Handheld sehen, dazu ist dieser Chip viel zu groß. Generell ist der nichts für Gamer.

 

[fizz2010]

Hab ich das bei der Vorstellung richtig verstanden, die Dinger sind vielfaches schneller als eine RTX4090 LLMs laufen zu lassen mit bis zu 70B? Wie kann das sein? Das wäre ja der Wahnsinn.

VRAM, llama 3.3 70b bei 4-bit braucht ca 35 bis 40gb vram.

 

[gartenriese]

@gartenriese Strix Halo wirst du nie in einem Handheld sehen, dazu ist dieser Chip viel zu groß. Generell ist der nichts für Gamer.

Wieso? Ich dachte die Handhelds sind eh schon riesig?

 

[ghecko]

Ich dachte die Handhelds sind eh schon riesig?

Und die Chips da drin sind gegen den hier mini.
Und was willst du mit einem SOC dessen Effizienzmaximum irgendwo bei 55W liegen wird und die Kosten für das Handheld Richtung 1500€ verschiebt?

 

[gartenriese]

@ghecko Enthusiasten werden das schon zahlen

 

[ghecko]

Enthusiasten werden das schon zahlen

Dafür, das sie ohne Powerbank 20 Min spielen können bis der Akku alle ist?

Für stationäre Konsolen und vllt Gaming-Laptops, meinetwegen. Aber das Ding lässt sich in einem Handheld weder sinnvoll kühlen noch mit Strom versorgen. Keiner schleppt so ein 2kg Gerät in der Hand rum, nicht mal Enthusiasten.

 

[wtfNow]

Weil die mit viel Müll gefüttert wurden und du deine Firmendaten nicht an OpenAI, Google oder überhaupt nur amerikanische Rechenzentren schicken willst/darfst

Mal ein Beispiel:
Es gibt Menschen die nutzen Sprachmodelle als Ersatz oder Ergänzung eines menschlischen Therapeuten bei der Behandlung psychischer Probleme. Die Dinge die man da erzählt, will man nicht unbedingt mit einem Unternehmen wie OpenAI teilen.

Datenschutz ist ein Argument.
In meinem Fall nutze ich es hauptsächlich wissenschaftlich im Maschinenbau/Kunststofftechnik also Mathe/Physik/Chemie ohne personenbezogene Daten.
Kann ich da andere Vorteile haben?
Ob die lokale Berechnung eine größere Investition dafür rechtfertigt ist dann eine andere Sache.

 

[KurzGedacht]

@wtfNow

Nicht wirklich. Hauptargumente für lokale Modelle sind entweder Datenschutz oder technisches Interesse / custom Modelle. Für alles andere ist es in der Regel billiger die Leistung bei einem der großen Anbieter zu beziehen.

 

[Volker]

Artikel-Update: Launchpartner Asus hat die Frage zum Speicher und der hohen Bandbreite geklärt: Es ist ein Quad-Channel-Interface. Mit LPDDR5-8000 als präferierten Speichertyp ergibt sich so auch rechnerisch exakt die beworbene Bandbreite von 256 GByte pro Sekunde.