News Project Digits mit GB10: Nvidias erster Schritt auf dem Weg zu eigenen Desktop-PCs

Mondgesang schrieb:
Na ja, wenn sich 10% der Installationen auf irgendwelche Minderheitendistris verteilen sieht das wahrscheinlich einfach größer aus als es eigentlich ist.

Ansonsten sucht man sich halt für seinen Zweck das passende raus.
Ergänzung ()

Brrr schrieb:
Wird spannend was mehr Leistung hat, das hier oder der neue AMD Ryzen mit 128GB.
Habe bis jetzt zwar noch keinen grossen nutzen gefunden für AI beim Coding, aber würde mich trotzdem mal reizen Qwen oder llama mit 70B auf so einem Ding lokal laufen zu haben.
Ich frage mich allerdings mit welcher Lautstärke das Ding bei dieser Bausform seine Abwärme los wird.
 
foofoobar schrieb:
Ich frage mich allerdings mit welcher Lautstärke das Ding bei dieser Bausform seine Abwärme los wird.
Würde bei mir irgendwo in einer Ecke sein, wo mich die Lautstärke nicht interessiert. Muss nur übers Netzwerk erreichbar sein.
 
Chismon schrieb:
Ich würde trotzdem eher die Cloudservicedienstleister ansteuern als das immer allmächtiger werdende nVidia

Und nVidia lacht sich eins, weil bei dem Dienstleister höchstwahrscheinlich auch nVidia werkelt...
 
Windows on Arm kompatibel?^^
wie sieht’s mit der GPU Power aus? Da fehlt mir hier etwas die Einordnung zu AMD und Apple
via Nvidias ConnectX-NIC-Lösungen können zudem zwei dieser PCs zusammengeschaltet werden.
So etwas finde ich beeindruckend und nützlich! Hätte ich auch gerne im Windows bereich
 
MaverickM schrieb:
weil bei dem Dienstleister höchstwahrscheinlich auch nVidia werkelt...
Ja, das ist nicht unwahrscheinlich, aber die Cloudservicedienstleister sind schon dabei eigene K.I. Chips entwickeln zu lassen (Microsoft, Google, Amazon und auch Mata), um sich zunehmend unabhängiger von nVidia zu machen.

Somit ist das vermutlich übergangsweise nur so und man fördert damit nachfolgend auch eher eine direktere Unterstützung dieses breiter aufgestellten (Cloud Computing-)Marktes als ein einen quasi-monopolistischen Anbieter von K.I. Hardware, was ich schon als vorteilhafter aus Kunden- und Marktsicht ansehe.
 
chillipepper schrieb:
weil man nicht befürchten muss, bei über 800 Distributionen in einem Support Albtraum zu versinken ... das wäre der einzig richtige Schritt, den man langsam mal überdenken sollte.
Deswegen gibts ja auch ein Trend hin zu App-Containern. Um von der jeweiligen Distribution zu abstrahieren.
Man kann darüber streiten, ob das ein guter Ansatz ist. Aber wer will, kann also schon heute seine Applikation distributionsunabhängig rausbringen.

chillipepper schrieb:
Dann gäbe es auch entsprechende Anreize für Software und Gerätehersteller
Für Gerätehersteller sind ja vor allem Treiber wichtig. Und ja. Treiber ist besonders schwierig, weil bei Linux sich gerne mal die internen APIs und ABIs ändern
Bei FreeBSD (von Dir ja gelobt) kommt das übrigens auch vor. Das merkst Du z.B. häufig an Grafiktreibern wenn Du auf eine neue Version upgradest. Oder auch bei Programmen die auf Kernelstrukturen zugreifen wie lsof.

Die Problematik mit Treiber für Linux könnte man abmildern, in dem man Treiber open-sourced und deren Aufnahme in den Linux-Kernel anstrebt. Woran es da scheitert, das es die Hersteller nicht wollen (warum eigentlich nicht? die verdienen mit dem Verkauf von Hardware ihr Geld; nicht mit dem Verkauf von Treibern) oder deren Qualität so unterirdisch ist, das die niemals in den Kernel aufgenommen werden würden. Insofern ist es sogar ein Qualitätsmerkmal, wenn man vorweisen kann, das die eigenen Treiber im Kernel sind. Dann genügt man wenigstens grundlegenden Mindeststandards.

chillipepper schrieb:
Dabei ist Standardisierung erforderlich, um in dem Bereich erfolgreich zu sein und sich durchsetzen zu können.
Also erst mal bin ich auch dafür, das man standardisieren sollte was sich standardisieren lässt. Also was letztlich sowieso jeder macht aber jeder leider auf eine andere und inkompatible Weise.
Ob damit aber der Erfolg kommen würde, ist fraglich.
Auch hier wieder der Verweis auf FreeBSD. Dort hat man ja sozusagen ein Standard-System. Und trotzdem kam nie the year of FreeBSD-Desktop. Und das, obwohl einem hier viel weniger die GPL im Weg steht. Man hat eine relative Langzeitstabilität. Man hat ne Unterscheidung in Major und Minor-Updates und weiß das man bei Minor-Updates (mal abgesehen von irgendwelchen Treibergeschichten die ein Recompile notwendig machen) keine breaking-changes zu erwarten hat. Manche machen das sogar. Weils zum Thread passt, sei hier auf nvidia verwiesen (wenngleich zugegebenermaßen auf FreeBSD der CUDA-Teil fehlt).

Wäre doch eigentlich alles super. Trotzdem liegt man beim Software-Support hinter Linux zurück. Und das, obwohl man bei Linux der Distributions-Support-Hölle ausgeliefert ist. :-)

phanter schrieb:
Das ganze funktionier also erst wenn es eine Konsens Distro, mit Zwangsupdate usw... gibt.
Naja. Für Konsens reicht es ja auch, wenn man Voraussetzungen spezifiziert. Etwas, was ja traditionell mit POSIX gemacht wurde und mit der Linux-Standard-Base im Linux-Bereich versucht wurde.
Was die aktuelle Version angeht, so kann man das ja machen, wie bei Windows auch. Wenn man ein Programm raus bringt, sagt man halt, zu welcher Version (des Konsens) das kompatibel ist und fertig.
Ergänzung ()

Flutefox schrieb:
Wenn bei BSD alles so toll ist würde ich gerne begründen, warum die HCLs der ganzen BSDs nur so wenige aktuelle Geräte als kompatibel anzeigen?
Wobei man da aufpassen muss, weil das nicht unbedingt den Gesamtstand widerspiegelt.

Also um jetzt mal exemplarisch die Situation für FreeBSD darzustellen.
Deren Hardware-Kompatiblitätsliste zeigt halt nur das an, was direkt mit dem Basis-System selbst läuft. Nicht dabei ist, was Du an Treibern noch über Packages/Ports kriegst. Da sind dann zum Beispiel auch die Treiber drin für die gängigen Grafikkarten von nvidia, Intel und AMD. Oder auch viele Netzwerktreiber (Realtek und Co).
Auch Userspace-Treiber wie Druckertreiber sind da nicht aufgeführt. Weil das wird ja heutzutage häufig mit CUPS gemacht und nicht mal CUPS ist Teil des Base-Systems.

Trotzdem ist FreeBSD da nicht "on par" mit Linux. Insbesondere bei WLAN und Bluetooth muss man da Abstriche machen, wenngleich Besserung in Aussicht ist.

Wenn man schnell&unkompliziert testen will, ob die Hardware zu FreeBSD kompatibel ist, könnte man ein GhostBSD-Live-System starten (GhostBSD ist quasi ein für den Desktop vorkonfiguriertes FreeBSD). Und/oder man guckt in deren Hardware-Compatibility-Database.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Flutefox
Wie viel AI-TOPS ist eigentlich "1 PetaFLOPFP4-Leistung"? Kann man das umrechnen?
 
Chismon schrieb:
Somit ist das vermutlich übergangsweise nur so und man fördert damit nachfolgend auch eher eine direktere Unterstützung dieses breiter aufgestellten (Cloud Computing-)Marktes als ein einen quasi-monopolistischen Anbieter von K.I. Hardware, was ich schon als vorteilhafter aus Kunden- und Marktsicht ansehe.

Ich würde ja keinen davon "fördern" wollen. Ich habe kein Problem damit Produkte von einem der Unternehmen (Außer Meta...) zu kaufen, aber die Kabbeleien sind mir da egal. Für mich sind da alle großen Unternehmen gleich... Keines ist besser. Da würde ich lieber lokal arbeiten, selbst wenn man dadurch den Marktführer "unterstützt".
 
MaverickM schrieb:
Keines ist besser. Da würde ich lieber lokal arbeiten, selbst wenn man dadurch den Marktführer "unterstützt".
Gut, ich bin glücklicher Weise nicht in der Lage diese Entscheidung treffen zu müssen, da ich nicht Zielgruppe bin, aber mir ist ein halbwegs ausgeglichener Wettbwerb und Markt (inkl. Meta) unter Großkonzernen immer noch um Längen lieber als einen Monopolisten (wie nVidia) und dessen Stellung abzusichern und da besteht schon ein entscheidender Unterschied für mich.
 
Lost_Byte schrieb:
Der Ryzen AI Max mit 128GB Ram ist wahrscheinlich die beste Alternative
Das muß sich noch zeigen. Mehr Infos gibts hier:
https://www.golem.de/news/amd-ryzen-ai-max-amd-stellt-strix-halo-monster-apu-vor-2501-192172.html
Ergänzung ()

7LZ schrieb:
Ich bin kein Profi, aber ich finde, dass das ziemlich günstig ist für das Gebotene.
Ja, ist es. Es wäre meiner Meinung nach ein echter Gamechanger für AI Entwickler. Fraglich nur, was das an Performance liefert, und ob da eine 5090 mit kleineren Modellen bis 32 GB deutlich schneller rechnet.

Leider muß man bis Mai warten. Ich würde mir danach glatt eine für mich kaufen, wenns wirklich einen Mehrwert zu einer RTX 4090/5090 bringen würde.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Cabranium
HerrRossi schrieb:
Wie viel AI-TOPS ist eigentlich "1 PetaFLOPFP4-Leistung"? Kann man das umrechnen?
Ohne Anspruch auf Richtigkeit würde ich es so schätzen:

  • 1 PFLOPS = 1000 TFLOPS (Peta zu Tera umgewandelt, exakt)
  • Wenn ich H100 anschau, so war da die FP8 (teraFLOPS) Leistung identisch zu der INT8 (TOPS) Leistung, daher nehme ich es hier auch an, also 1000 TFLOPS ≈ 1000 TOPS (hier ist aber Blackwell drin, daher ist diese Annahme ungenau)
  • Hier haben wir aber FP4 und nicht FP8, da könnte man annehmen, dass die Leistung bei FP4 doppelt so hoch ist, wie bei FP8 (bei H100 kann man dies gut beobachten, wenn man TF32 (TensorFloat-32, technisch 19Bit) -> FP16, oder FP16 -> FP8 vergleicht). Das heißt, 1000 TFLOPS FP4 ≈ 500 TFLOPS FP8.
Damit wären wir bei der groben Schätzung, dass es vergleichbar mit 500 TOPS ist, angenommen, es verhält sich ähnlich zu H100 und tanzt nicht aus der Reihe.

FP4 hat den Vorteil, dass die LLM Modelle kleiner und schneller sind, auf Kosten der Qualität (mehr oder weniger)

Ich bitte um Korrektur, falls ich etwas übersehen, oder mich verrechnet habe.
 
Zuletzt bearbeitet: (Formatierung)
  • Gefällt mir
Reaktionen: Teckler
Zurück
Oben