News Blackwell Mini-PC und Workstation: Nvidia bietet DGX Spark und DGX Station für Endkunden an

[Gringalf]

@HerrRossi Damit sind dünn besetzte Matrizen gemeint, also Matrizen, die fast überall Nullen enthalten. Dafür gibt es dann effizientere Algorithmen. Siehe https://de.wikipedia.org/wiki/Dünnbesetzte_Matrix

 

[HerrRossi]

Also eine Art Benchmark, der hohe Ergebnisse abliefert?

 

[stefan92x]

@HerrRossi Das ist schon etwas, was sich in realen Anwendungen oft findet. Genau deshalb wird auch die Hardware darauf optimiert. Das ist einfach eine eingebaute Abkürzung für den Fall, dass mit 0 multipliziert werden sollte, da muss man halt nicht das große Rechenwerk füttern, sondern kann direkt 0 zurückgeben.

Bei Berechnungen einzelner Daten gibt das keinen relevanten Boost, aber wenn man ganze Matrizen auf einmal in den Rechenkern wirft, dann wird es spürbar.

 

[HerrRossi]

Alles klar, vielen Dank für die Info!

 

[nutrix]

Reservierungen für den kleinen DGX Spark nimmt Nvidia ab sofort entgegen

Ach, hier sind Reservierungen plötzlich möglich... 🙄🤬

 

[TheInvisible]

Der Speicherdurchsatz liegt leider nur bei 273 GB/s. Siehe https://www.nvidia.com/en-us/products/workstations/dgx-spark/

Man bekommt also eine 5070 mit 128 GB RAM, das aber nur 40,625% des Durchsatzes der 5070 hat. Für LLM ist das aber der entscheidende Wert, da für jedes Token das komplette Modell ganz eingelesen werden muss, d.h. ein 100 GB großes Modell würde zwar laufen, aber maximal mit 2,73 Token/s, realistisch wahrscheinlich mit ca. 2 Token/s.

Bei dem Preis könnte man auch über einen Mac Studio nachdenken mit 128 GB (oder auch mehr) unified RAM, der dann aber mit 819 GB/s angebunden ist, also exakt 3 mal so schnell.

Der kostet auch mehr und kein Nvidia Software Stack