Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsNeuer Apple Mac Studio: M3 Ultra bringt bis zu 512 GB RAM & 184 Mrd. Transistoren
Wenn das LLM nicht in 128GB passt, hat man davon aber erstmal nix - klar kann man Clustern und so, aber zumindest wenn die Zeit zum managen eines Clusters nicht kostenlos ist, kann sich der Aufpreis lohnen.
Und Framework liefert erst in Q3, Apple ab nächster Woche.
Wer jetzt eine Kiste mit dick VRAM für LLMs will - ohne gleich einen Server mit Blackwell zu kaufen, denn der ist noch viel teurer - hat Stand jetzt nicht so viel Auswahl.
Viel RAM ist nur durch noch mehr RAM zu ersetzen. KI-Bildgeneratoren wie Flux brauchen bis zu 30 GB VRAM, Sprachmodelle bis zu dreistelliges Volumen, und ich denke auch 3D-Rendering für Filme und CAD kann locker dreistellig werden, wenn man im professionellen Bereich mit hochkomplexen Projekten arbeitet. Die Preise scheinen gerade was KI angeht auch konkurrenzfähig zu sein, Nvidia langt bei den Workstation-Karten mit VRAM auch sehr tief in die Tasche.
Arbeiten. Kompliziertes Arbeiten.
Diese Art von Arbeit, welche sonst noch viel teurere Spielhardware benötigt.
Eine DGX H200 hat etwa 1128GB VRAM, rechnet zwar deutlich schneller als das Mac Studio, kostet aber auch ein Schippchen mehr - fängt nämlich bei 310k€ an: https://www.deltacomputer.com/nvidia-dgx-h200-1128gb.html
Multiple LLMs können in so ein Mac Studio geladen werden. Potenziell kann es sogar zum Fine-Tuning kleinerer Modelle verwendet werden.
Simulationen können gerne größeren (V)RAM verwenden. Komplexe Berechnungen. Große Daten brauchen großen Speicher, und wenn man als Startup oder Unternehmen sich entscheiden muss, zwei Mac Studios (bzw. wahrscheinlich bald Mac Pros) oder eine DGX H200 zu kaufen - was wird wohl die wahrscheinlichere Beschaffung sein?
Frag mich wie lange man als Otto Normal Bürger warten muss, bis es günstige LLM Maschinen geben wird die min 1.5TB Ram haben und nicht teurer als 1000-2000Eur sind.
@dernettehans Stelle Dich auf einen zentralen Platz im Bundesland Deiner Wahl und frage den "Otto Normal Bürger".
Notiere Das dann, lerne es auswendig und gehe in Dich.
wenn ich Apple wäre würde ich rein aus Marketinggründen bei egal was grundsätzlich eine 100K€-Version mit blattgüldenem Apple-Logo rausbringenden, die Verbreitung des Produktes übernehmen dann die Ragebaiter.
Sportlich sind die Upgradepreise zweifellos, aber das „argumentieren“ mit dem Maximalpreis ist aber schon immer lustig.
Kommt gerade rechtzeitig , dann wird es doch kein Mac Mini sondern das Teil.
Das Budget von 10 K fahren wir dann aus und quetschen dem Verantwortlichen noch etwas aus den Rippen.
Ja für lokale LLM ist das wirklich brutal viel RAM.
Eine 6000 Ada mit 48 GB RAM kostet ca 7000 € . Da sind die 12 K gerade zu ein Schnapper bei 512 GB RAM.
Cluster bauen ist immer so eine sache sobald die Interference auf einen anderen Host muss, ist 10 GB Ethernet total langsam. Beim Mac kann ich ja Thunderbolt nutzen. Wie das geht könnt ihr hier schauen.
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Und ich dachte ich bin mit meinem 96GB Ram schon irre, wohlgemerkt hatte ich diese menge auch schon bei meinem AM4"2020 2021-2024" system, ebenso hat mein Notebook auch soviel. Aber wirklich voll ausgeschöpft bekommen habe ich die noch nie, es sei denn ich hau die ramdisk rappelvoll.
Auch wenn ich apple nicht unbedingt mag, find ich es irgendwie super das 96GB die einstiegsmenge ist
Frag mich wie lange man als Otto Normal Bürger warten muss, bis es günstige LLM Maschinen geben wird die min 1.5TB Ram haben und nicht teurer als 1000-2000Eur sind.
Ich denke von dem Gedanken kann man sich verabschieden. Realistischer ist es, dass in Zukunft kompaktere und gleichzeitig leistungsstarke Modelle erscheinen werden.
Woher kommt eigentlich die Annahme, dass sich nicht einmal Firmenkunden das Gerät auf 17.000 Euro konfigurieren?
Ich stehe Apple selbst eher skeptisch gegenüber, aber selbst ich sehe, dass der Mac Studio für ganz bestimmte, spezialisierte Aufgaben entwickelt wurde – und genau dafür auch seine Abnehmer finden wird. Apple kennt den Markt und dessen Bedürfnisse vermutlich deutlich besser als irgendein Laie. Ein Unternehmen wie Apple bringt nichts „auf gut Glück“ heraus, sondern hat eine klare Zielgruppe im Blick.
Dazu kommt, dass Firmenkunden selten den vollen Preis zahlen. Vieles läuft über Leasingmodelle, und steuerlich sieht das Ganze auch anders aus. Außerdem wird damit produktiv gearbeitet – und wenn ein solches Gerät in einem professionellen Umfeld genutzt wird, hat es sich schnell amortisiert.
Letztendlich gilt: Wenn ein Produkt für dich keinen Sinn ergibt, dann bist du einfach nicht die Zielgruppe.
