News AMD Strix Halo: Ryzen AI Max mit bis zu 16 Kernen, 40 CUs und 256 GB/s

[Icke-ffm]

Das ist mal eben der 4fache VRAM der 4090. Dadurch kommt die Performance. Die 4090 erstickt an ihren 24GB VRAM

dennoch nicht schlecht sind dann immerhin 256GB/s vs 1000GB/s ist auch beinahe die 4fache Bandbreite der 4090

Ergänzung (Montag um 22:13)

Das für mich überraschenste war, dass endlich auch die alte Intel-Bude Dell auf AMD setzt. Schnell, holt mal wer die Kreide, das muss direkt an den Kamin!

ja und vor allem nur bei den Pro APUs bei den Custom Geräten stand kein Dell mit an der Wand, kommt also wie immer später.
Denke aber das wir die Tage noch was von Dell/Alienware und AMD lesen werden

 

[tomgit]

Die 4090 ist ja auch kein Konkurrent, der Vergleich soll einfach nur die Aufmerksamkeit der Leute fangen.

Nein, für LLM-Entwickler ist die 4090 der Vergleich, weil es aktuell sonst sehr wenige GPUs gibt, die genügend Speicher haben, um auch "größere" Modelle in den VRAM zu laden.
Ich arbeite selbst mit LLMs viel und da gibt es im Windows/Linux-Lager außerhalb von GPUs nur sehr wenig Möglichkeiten, wenn man nicht gerade auf irgendwelche Cloud-hosted LLMs zurückgreifen mag. Oder auf ein MacBook, welches aber wieder eigene Nachteile mit sich bringt (macOS).

Diese APU mit viel Speicher und Linux-Support (was HP bereits bestätigt hat) ist beinahe perfekt - und man kann damit dann auch noch etwas daddeln

 

[Ayo34]

Wenn es "nur am RAM" liegen würde, ist der Faktor 2,2 aber viel zu klein. Nach meinen Erfahrungen liegen die Geschwindigkeitsunterschiede eher bei Faktor 7-10. In dem Fall wäre die APU richtig schlecht.
Warten wir ab, bis wir Token/Sekunde sehen.

Du vergisst, dass alleine die 4090 3-4x mehr Strom benötigt und gleichzeitig, dass die RTX-Grafikkarte grundsätzlich ein Monster ist, wenn der RAM reichen würde. Am Ende ist eine Profi Nvidia Karte mit 80GB+ viel, viel schneller. Trotzdem ist es natürlich cool, wenn man auf seinem PC zu Hause oder sogar unterwegs die großen Modell nutzen kann.

Im der Vergleich ist es dann 2,2x mehr Geschwindigkeit und eben 6-7x weniger Stromverbrauch. Also über 1000% effizienter.

 

[guggi4]

Mir ist klar, das die gpu massiv an Leistung verliert, wenn der VRAM nicht reicht. Ich wundere mich, warum aber, sollte das der Fall sein, auf den Folien von AMD 2.2x steht und nicht 7.5x oder gar 10x und daher misstraue ich der hier breit vertreten Theroie. Wissen werden wir es erst, wenn es unabhängige benches gibt... Wie immer.

Naja, angenommen eine 4090 ist etwa ~5x so schnell, wenn der VRAM nicht begrenzt (was jetzt aufgrund der ALUs, Bandbreite, TDP, etc sicher nicht unrealistisch ist).
Jetzt wählt man ein Modell, welches die 24GB sprengt und die 4090 bricht um Faktor ~10 ein -> die APU ist 2.2x schneller als die 4090
Hab ich dich jetzt richtig verstanden?

 

[Flutefox]

Sehr geil, endlich öffentlich und offiziell! Ich kann kaum auf die "Desktop" Systeme damit warten. HP ist bereits so weit, Dell und Lenovo sollten zeitnah folgen!

 

[Boimler]

Bin gespannt, welche APU-Lösungen für AM5 kommen werden. Diese hier geht ja offensichtlich nicht, aber vielleicht heißt das auch, dass neue AM5-APUs dann RDNA4 nutzen können.

Und Glückwunsch an AMD, dass sie Dell gewinnen konnten. Das muss Intel weh tun.

 

[Mika46]

Hab ich dich jetzt richtig verstanden?

Korrekt, beim Gaming hat man den gleichen Effekt, wenn die FPS von zB 60 auf 5 abstürzen wenn der VRAM voll ist.

 

[donativo]

Dann lieber die Lösungen wie der Mini PC von HP da kann man wenigstens die 120W ausnutzen. Die MinisForum Dinger sind zwar cool, aber warum nicht doppelt so groß machen mit mehr erweiterungsmöglichkeiten.

Hab gerade mal gesucht und der Z2 Mini G1a ist schon nice! Bin auf den Preis gespannt. Vermutlich aber weit weit drüber was MF verlangen wird. Ich finde aber auch die Mainboard Varianten von MF mit solchen Chips sehr spannend.

 

[Hatsune_Miku]

Jetzt hat hoffentlich dadurch auch der letzte Gelernt das der schnellste Speicher nichts bringt wenn er nicht ausreichend vorhanden ist.

 

[stefan92x]

geil wie dieser unsinnige 4090 vergleichs-slide sogar maximale verwirrung in nem tech nerd forum stiftet.

Ist halt nicht unsinnig, wenn man sie als das betrachtet, was sie ist: AMDs Kampfansage an Nvidia für AI-Workstations. Bislang sind das halt einfach überwiegend Desktops mit 4090, aber jetzt will AMD die Möglichkeit bieten, fette Modelle mobil nutzbar zu machen.

Das große Fragezeichen dürfte da wie immer der Softwaresupport sein, aber grundsätzlich ist das dafür schon ein Brecher und kann Nvidia wehtun.

 

[wtfNow]

aber jetzt will AMD die Möglichkeit bieten, fette Modelle mobil nutzbar zu machen.

Mal ganz doof gefragt, was bringt das einem?
Warum nicht von ChatGPT/Gemini bedienen lassen? Läuft überall...

 

[Sternengucker80]

Generell, wäre StrikeHalo schon was feines. Der wird aber wahrscheinlich so teuer, das wenn man nur etwas Datteln will, preislich ins Bodenlose fällt. Wollte man StrikeHalo Sockeln, müsste es min. eine TR-Plattform sein, oder eine neue. Ähnlich wie früher AM/FM.

 

[Boimler]

Warum nicht von ChatGPT/Gemini bedienen lassen? Läuft überall...

Ist doch eine riesige Chance, wenn du kleine KI-Sachen lokal berechnen und schneller verfügbar machen kannst, als auf die Antwort aus dem Netz zu warten. Von den Möglichkeiten, die Open Source dabei hat, mal ganz zu schweigen.

 

[stefan92x]

Bin gespannt, welche APU-Lösungen für AM5 kommen werden.

In der Tat. Strix Point wäre wohl möglich, aber ob AMD den großen Chip in diesem Einstiegssegment sieht? Persönlich tippe ich drauf, dass wir nur Krackan sehen werden.

Ergänzung (Montag um 22:50)

Mal ganz doof gefragt, was bringt das einem?
Warum nicht von ChatGPT/Gemini bedienen lassen? Läuft überall...

Und du gibst deine Daten fremden Firmen. Muss man wollen, wollen viele nicht. Außerdem kann auch das gut ins Geld gehen.

 

[Botcruscher]

Mein Tipp: Wird lächerlich teuer und damit für den breiten Markt uninteressant.

 

[Azdak]

Hab ich dich jetzt richtig verstanden?

Ja und so könnte man auf die 2,2 rechnerisch kommen. Macht aber für eine Marketingfolie wenig Sinn so ran zu gehen.
Dem Gedanken so folgend wären das dann schätzungsweise 6-8 Token/Sekunde. Ein M4 pro kommt auf 5,5 Token/Sekunde. Weiß nicht ob ich davon begeistert sein soll bei einer "spezialisierten" AI APU, denn dann sieht das alles rein Bandbreitenlimitiert aus. Kann aber gut sein.

 

[Oberst08]

Nein, für LLM-Entwickler ist die 4090 der Vergleich, weil es aktuell sonst sehr wenige GPUs gibt, die genügend Speicher haben, um auch "größere" Modelle in den VRAM zu laden.
Ich arbeite selbst mit LLMs viel und da gibt es im Windows/Linux-Lager außerhalb von GPUs nur sehr wenig Möglichkeiten, wenn man nicht gerade auf irgendwelche Cloud-hosted LLMs zurückgreifen mag. Oder auf ein MacBook, welches aber wieder eigene Nachteile mit sich bringt (macOS).

Ich kenne dein Dilemma sehr gut (geht uns auch so), aber was spricht gegen eine W7900 mit 48GB VRAM?
Muss man halt eine Pro Karte kaufen, wenn man das Ding auch professionell nutzen will. Und den Aufpreis (kostet 3400€) hat man in Kundenprojekten auch schnell wieder eingenommen und kann man eh zurück holen. Um die 48GB VRAM zu füllen, braucht man schon ziemlich große LLMs. Für noch größere LLMs kann das Ding durchaus passend sein, aber man muss sich halt auch klar machen, dass die reine Rechenleistung viel niedriger als bei den großen GPUs ist. Daher sollte man das dann auch wirklich nur dann nutzen, wenn einem die 48GB der Workstation Karten nicht mehr reichen.

 

[ghecko]

Mein Tipp: Wird lächerlich teuer und damit für den breiten Markt uninteressant.

Wie die kommenden Grafikkarten von Nvidia. Mal sehen wer die dann kauft.

Ich finde jedenfalls Halo deutlich interessanter als alles, was Nvidia gerade so in der Pipeline hat.

 

[s.0.s]

Noch ein Sargnagel für Intel?

 

[tomgit]

Kundenprojekten

a.) Und ich soll dann den Desktop mitnehmen, wenn ich unterwegs bin?
b.) Ich promoviere, da ist nicht sooo viel mit "Kundenprojekten".