Unlimited1980
Lieutenant
- Registriert
- Apr. 2009
- Beiträge
- 1.004
Habe hier noch einen gefunden, der Deepseek 671B sogar ziemlich gut ganz ohne GPU zum laufen bekommen hat:
https://x.com/carrigmat/status/1884244369907278106
Das ist ja ne krasse Entwicklung.
Seit Deepseek (Assembler!!) kann ja NVDA sich CUDA in bezug auf AI ziemlich in den Allerwertesten stecken, wenn jetzt neuerdings komplett zum lokalen laufen von Deepseek auf GPUs verzichtet werden kann... crazy!
der Typ aus dem Link zu twitter hat irgendwo auch in video gepostet, da sieht man 5.41 tokens/s
nicht gerade berauschend, aber hey, es ist das volle Ding.
Respekt.
https://x.com/carrigmat/status/1884244369907278106
Das ist ja ne krasse Entwicklung.
Seit Deepseek (Assembler!!) kann ja NVDA sich CUDA in bezug auf AI ziemlich in den Allerwertesten stecken, wenn jetzt neuerdings komplett zum lokalen laufen von Deepseek auf GPUs verzichtet werden kann... crazy!
der Typ aus dem Link zu twitter hat irgendwo auch in video gepostet, da sieht man 5.41 tokens/s
nicht gerade berauschend, aber hey, es ist das volle Ding.
Respekt.