News Framework Desktop: Firma der modularen Notebooks überrascht mit AMD Strix Halo

[wertertzu]

Doch, es ist VRAM. Und genau das ist der Punkt.

Aus dem Artikel:

LPDDR5X-Speicher

 

[Psierra117]

@Psierra117 also rätst du von Framework ab?

Ich muss dir da ein klares JAEIN geben. Ich finde die Philosophie gut, das Konzept auch. Der Framework 13 mit seinem mittlerweile 7.Gen Mainboard ist toll, aber der Framework 16 für den ich mich entschieden habe, der fühlt sich ziemlich stiefmütterlich behandelt an. Von dem Rate ich aktuell ab. Es gibt 2 Fundamentale Fehler in dem Gerät. Bei alten Laptops/Mainboards (Pre 12/24) ist Flüßigmetal verbaut, was nach einigen Hitzezyklen aus der Kontaktfläche raussläuft und deswegen heißläuft + Es gibt einen Produktionsfehler im Heatsink von Coolermaster. Die Kontaktfläche zwischen CPU und Vaporchamber ist nicht vollflächig verlötet was selbst bei intakter Flüßigmetallebene die MaxTDP begrenzt. Serienmßig + Flüßigmetal ist bei 55W Peak TDP Schluss und ca 40W sustained (100C Thermal Limit) Ich habe eine neue Kupferkontaktfläche mit der Vaporchamber verlötet und konnte dadurch 83W Peak und 63W Sustained rausholen. Bei den meisten Leuten läuft halt das Flüßigmetall raus und dann ist bei ca 30W TDP bei 100C Schluss.

Der einfachste Mod ist die Originale Kontakfläche runterzuholen, die Vaporchamber zu polieren und ein Kupferstück (20x20x0,8mm) mit PTM7950 beidseitig zwischen Vaporchamber und Chip zu klemmen. Damit kommt man problemlos auf die 54W TDP sustained die durchs Bios ohne Mods vorgesehen ist.

Das sieht man auch in meinem Post, den ich oben verlinkt habe.

 

[tomgit]

occulink anschluss

Dann nimmt man eben den internen PCIe-Anschluss und macht einen Oculink-Adapter ran: https://www.delock.de/produkt/90482/merkmale.html
Oder nimmt nen Riser und setzt es in ein größeres Gehäuse
Oder oder oder, bietet ja ein paar Möglichkeiten an und im Forum wird es sicherlich zeitnah Ideen dazu geben.

Ergänzung (Heute um 00:08)

Aus dem Artikel:

Seit wann definiert die Geschwindigkeit des VRAMs, ob es VRAM ist oder nicht? VRAM bedeutet schlicht und ergreifend, dass es Video RAM ist: https://de.wikipedia.org/wiki/Video_Random_Access_Memory

 

[HerrFornit]

Falls jemand das Ding bekommt, wäre es nett hier mal die DPC Latenzen zu posten (wegen mobile Chip und powermanagement)

 

[mae]

Verstehe nicht, wieso du mit dem 7900 ankommst. Der Max 395+ entspricht schließlich in Sachen CPU dem 9950X (wenn auch mit gedeckelter TDP). Das ist schon die CPU, mit der verglichen werden sollte

Der Deskmini X600 ist bei den CPUs auf 65W limitiert. Ich weiss nicht, was passiert, wenn man einen 9950X reinsteckt. Wenn der dann einfach mit einem 65W-Limit laeuft, dann immer her damit. Ansonsten ist der staerkste 65W-Prozessor der 7900 (multi-core) bzw. 9700X (single-threaded).

 

[ghecko]

Aus dem Artikel:

256GB/s Speicherbandbreite. Eine vergleichbar schnelle 7600XT hat 288GB/s.
"VRAM" bedeutet nicht zwangsläufig GDDR6. Die Bandbreite ist interessant und die Latenz von LPDDR5X dürfte sogar besser sein als die von GDDR6.

 

[SaschaHa]

Wie denn? Ich bin mir da keines Geräts bewusst, welches zu dem Preis in egal welchem Formfaktor das liefern kann.

Beispiel:

• AMD Ryzen 9 9950X (630 €)
• Sapphire Pulse 7700 XT (431 €)
• ASUS TUF Gaming B650M-E Wifi (158 €)
• 2x Kingston FURY Beast 64 GB-Kit DDR5-6000 CL30 (2x 195 €)
• be quiet! Purer Power 12 M 650W (101 €)
• Lexar NM790 2TB (122 €)
• Arctic Freezer 36 (25 €)
• + 50 € Gehäuse

Summe: 1907 €, und wir hätte hier eine deutlich stärkere GPU (56 statt 40 CUs), eine ungedrosselte CPU, 128 GB RAM + 12 GB VRAM, und alles wäre modular.

Aber nochmal: Ich habe das Produkt in keiner Weise schlechtgeredet oder dessen Existenzberechtigung infrage gestellt. Im Gegenteil: Es ist ein absolut tolles Gerät! Aber es ist jetzt eben auch nicht die eierlegende Wollmilchsau, als die es hier teilweise dargestellt wird.

Er ist so schnell angebunden, wie der VRAM vergleichbar schneller GPUs. Und die kann bis zu 96GB davon exklusiv nutzen. Es ist VRAM in jedem Sinne des Wortes. Egal ob in Bandbreite oder Funktion.

Das stimmt eben nicht. Die 7700 XT bietet 40% mehr Shader-Einheiten bei 68,75% mehr Durchsatz (432 vs 256 GB/s). Der VRAM der 7700 XT beträgt "nur" 12 GB, was in dieser Leistungsklasse aber vollkommen ausreichend ist, und danach kann die GPU immer noch auf den RAM mit immerhin 96 GB/s zugreifen.

Der Use-Case, bei dem die 12 GB VRAM nicht reichen, ist halt extrem selten und fällt bei dieser Leistungsklasse in eine Nische. Zudem müsste der dann erfolgende RAM-Zugriff so langsam sein, dass der 40%ige Shader-Vorteil dadurch vollständig zunichte gemacht wird, was das Ganze umso unrealistischer macht. Von daher kann ich deine unreflektierte Kritik beim besten Willen nicht nachvollziehen.

Es gibt genug Argumente für dieses Produkt, aber der gemeinsame Speicher ist wohl das Unrealistischste.

 

[tomgit]

Der Deskmini X600 ist bei den CPUs auf 65W limitiert. Ich weiss nicht, was passiert, wenn man einen 9950X reinsteckt.

https://www.club386.com/heres-what-happens-when-you-run-an-amd-ryzen-9-9950x-at-65w/

Der Use-Case, bei dem die 12 GB VRAM nicht reichen, ist halt extrem selten und fällt bei dieser Leistungsklasse in eine Nische.

Und das sagt wer? Du? Es gibt genügend Leute, die sich danach umschauen, weil sie LLMs/Bildgenerierung/sonstwas darauf laufen lassen wollen. Nvidia bringt mit dem Digits einen eigenen Mini-PC auf den Markt, der ausschließlich dafür gedacht ist.

Von daher kann ich deine unreflektierte Kritik beim besten Willen nicht nachvollziehen.

Sorry, aber mit hohem Tellerrand esse ich höchstens Suppen und diskutiere keine Meinungen.

 

[ghecko]

Das stimmt eben nicht. Die 7700 XT bietet 40% mehr Shader-Einheiten bei 68,75% mehr Durchsatz

Und ist eben auch gut 40% schneller IN SPIELEN. Bringt ihr aber bei LLMs alleine nichts. Da ist wichtiger, dass das Model in den VRAM passt.

Es gibt genug Argumente für dieses Produkt, aber der gemeinsame Speicher ist wohl das Unrealistischste.

Nein, er ist DAS Argument. Jeder, der lokal mit LLMs herumspielt weiß warum. Das scheinst du nur nicht zu verstehen.
Halo ist in der Form des Rechners von Framework die günstigste Möglichkeit, solche großen Modelle ausreichend schnell lokal zu betreiben:

Und das heben wir hier hervor. Du verstehst uns nur scheinbar falsch. Wir feiern Halo nicht als Lösung für alles, sondern als eine der wenigen Lösungen für ein SEHR SPEZIFISCHES PROBLEM.

 

[Krik]

Dann nimmt man eben den internen PCIe-Anschluss und macht einen Oculink-Adapter ran

Bei 4 Lanes ist das recht witzlos. Da ist die iGPU in wahrscheinlich jedem Fall schneller.

Aber @Sunjy Kamikaze konnte mir auch in einem anderen Thread zum Strix Point nicht erklären, warum er eine APU mit 400 € teurer iGPU mit einer dGPU betreiben will. Das ergibt so auf den ersten Blick gar kein Sinn, aber vielleicht hat er ja eine Nischenanwendung, auf die keiner von uns kommt.

 

[wertertzu]

256GB/s Speicherbandbreite. Eine vergleichbar schnelle 7600XT hat 288GB/s.
"VRAM" bedeutet nicht zwangsläufig GDDR6. Die Bandbreite ist interessant und die Latenz von LPDDR5X dürfte sogar besser sein als die von GDDR6.

Ist halt nix, schau mal was eine 5090 hat.
Davon abgesehen ist der AMD Ryzen™ Al Max+ 395 mit 50 bzw. 162 TOPS einfach ein Witz im Vergleich, was bringt es dir, die LLM vielleicht in den RAM zu laden, aber am Ende ne ewig auf ein Ergebnis zu warten (als Beispiel).

Außerdem ist AMD was AI Kram angeht einfach extrem schlecht im Software Support, macht einfach kein Spaß.

 

[tomgit]

Oculink nimmt auch nicht mehr Lanes

 

[Krik]

was bringt es dir die LLM vielleicht in den RAM zu laden, aber am Ende ne ewig auf ein Ergebnis zu warten

Es geht, das ist der Vorteil.
Schon mal ein 70B Modell in eine 5090 geladen? Nein, geht nämlich nicht. Die APU hier kann für einen Preis von 1000-2000 € etwas, was eine 2500 € Grafikkarte nicht kann.

@tomgit
Nützt aber nicht viel, da der Flaschenhals zu eng ist.

 

[ghecko]

macht einfach kein Spaß.

Und mir macht die 5090 keinen Spaß, ist aus meiner Sicht ein dampfender Haufen *XJH)&$?=?

 

[SaschaHa]

Ist es nicht. Arbeite mal mit nem LLM

Und ist eben auch gut 40% schneller. Bringt ihr aber bei LLMs alleine nichts.

Aha, und wie viel Leute betrifft das? Bleibt doch mal realistisch und kommt aus eurer Nische heraus.

Nein, er ist DAS Argument. Jeder, der lokal mit LLMs herumspielt weiß warum. Das scheinst du nur nicht zu verstehen.

Na klar. Dieses Produkt wurde sicherlich für eine Zielgruppe entwickelt, die aktuell mit sehr viel Wohlwollen kaum 1% an der Bevölkerung ausmacht. Und natürlich verwendet man dann auch die Gaming-Architektur RDNA statt der auf professionelle Aufgaben optimierten CDNA-Architektur Rede dir den Unsinn nur noch weiter ein!

 

[ghecko]

Aha, und wie viel Leute betrifft das?

Dich scheinbar nicht. Keine Ahnung weshalb du uns dessen hier belehren willst wenn es dich nicht betrifft.

Dieses Produkt wurde sicherlich für eine Zielgruppe entwickelt, die aktuell mit sehr viel Wohlwollen kaum 1% an der Bevölkerung ausmacht.

Halo wurde deshalb entwickelt, weil AMD einen Markt dafür sieht. Und weil es ein Testballon für einige Technologien ist, die wir wohl mit dem IO-Die von Zen6 und den kommenden APUs sehen werden.

 

[Cabranium]

An sich eine coole idee. Aber erst drittes Quartal und der Euro preis wie gepostte bei 2329 euro plus ssds und betriebssystem. Also je nach eigenen wünschen Bedarf, 2600-3000. Die grösse überzeugt, die Mobilität auch, irgendwie werde ich für meine wünsche mit dem preis nicht ganz warm. Aber ok, ich plane nicht damit LLM laufen zu lassen. ich denke abe rnicht, dass ich lange genug warten möchte um dem Gerät dann noch eine chance zu geben. Aber vielleicht bin ich einfach nicht die Zielgruppe-

 

[stefan92x]

Dieses Produkt wurde sicherlich für eine Zielgruppe entwickelt, die aktuell mit sehr viel Wohlwollen kaum 1% an der Bevölkerung ausmacht.

Ja wurde es. Strix Halo ist ein absolutes Nischenprodukt, alle anderen als dieses maximal 1% sind mit einem klassischen Setup mit CPU+GPU besser bedient.

Der Massenmarkt ist für dieses Produkt nicht relevant.

 

[SaschaHa]

Sorry, aber mit hohem Tellerrand esse ich höchstens Suppen und diskutiere keine Meinungen.

Komischerweise argumentierst du - genau wie @ghecko - aber mit Strohmännern und ignorierst fortlaufend meinen Satz, dass ich das Produkt gut finde und dessen Daseinsberechtigung nicht infrage stelle.

Offenbar willst du es also auf eine unanfechtbaren Thron heben, der aber nunmal in eine absolute Nische fällt.

Fakt ist: Es lassen sich zum selben Preis schnellere Mainstream-Produkte zusammenstellen, während deine Argumentation sich ausschließlich auf Anwendungsfälle bezieht, die aktuell in eine Nische fallen. Das macht dieses Teil dann aber eben nicht zur eierlegenden Wollmilchsau für alles, sondern zu einer (guten) Alternative, bei der es aber eben sehr stark auf den Use-Case ankommt. Für LMM top, für Gaming und andere Zwecke aber eben nur eine Alternative zu anderen Konfigurationen.

 

[aLanaMiau]

Und das mit der 32GB Version.

Hm. Bringt mir leider nicht wirklich viel... trotzdem danke. Dass die Leistung für 8b und 14b reicht ist zwar toll, aber die laufen auch auf jedem Toaster GPU ohne große Probleme. Interessant wären Systeme, die mehr Speicher als dual/quad 3090 Systeme bieten, dabei günstiger sind und trotzdem genug Geschwindigkeit für Echtzeitanwendungen leisten.

Gibt wohl einfach noch keine verlässlichen Angaben oder Quellen zur Geschwindigkeit bei 70b. Laut ein paar chinesischen Forenposts liegt die Leistung irgendwo bei 3tk/s bei deepseek r1 Q8 mit 2k context. Scheint aber noch Probleme im Kernel zu geben, weil die NPU nicht direkt benutzt werden kann und "nur" mit der iGPU getestet wurde. Wobei das auch nichts an der limitierenden Speicherbandbreite ändert. Mit einer realistischer Quantisierung von Q4 (~40gb bei ~210gb/s) könnten es 5-6tk/s werden.
Scheinbar bietet ein Mac ca. die doppelte Leistung zum doppelten Preis? Da Project Digits nur ~3k kostet und direkten Zugriff auf CUDA (und Optimierungen von NV) hat, ist Strix Halo wohl doch nicht so interessant wie es sich anhört... Schade.

Wahrscheinlich muss man den Release ein paar Monate abwarten, bis die ganze Software entsprechend angepasst und optimiert wurde. Trotzdem wären 3tk/s weit von "benutzbar" entfernt und kaum schneller als GPU offloading auf einem klassischen Desktop. (Ob da die "2.2x faster AI Performance" gegenüber einer 4090 herkommen, die dann nur 1.5 tk/s schafft? )
Durch die limitierte Speicherbandbreite aber hohe Kapazität könnten auch andere Modellarten wie MoE an Bedeutung gewinnen - sind meiner Meinung nach eh die überlegene Lösung.