ollama deepseek-r1:70b - x509: certificate has expired or is not yet valid:

[WildKätzchen]

Hallo ihr Lieben,

ich habe davon gehört, dass die deepseek KI sehr gut sein soll und auch noch gratis. Da wollte ich das auch mal probieren und habe mir nach einem Tutorial Ollama geholt und versucht die 42gb Version zu laden. Leider hab ich ich kein besonders schnelles Internet, weshalb es einige Zeit gedauert hat für mich 55% zu laden. Es hat immer wieder mal "Error: max retries exceeded: unexpected EOF" angezeigt, aber ich kannte den einfach eingeben und dann ging es auch wieder. Wenn ich nicht am PC war, habe ich Ihn in schlafmodus gesetzt. Das hat auch gut geklappt.

Nach einer Weile ging es aber gar nicht mehr und dann habe ich die Letzten Einträge rauskopiert, gespeichert und den PC runtergefahren.


C:\Users\denise>ollama run deepseek-r1:70b
pulling manifest
pulling 4cd576d9aa16... 55% ▕███████████████████████████████████████████████████████████ ▏ 23 GB/ 42 GB 513 KB/s 13h7m
Error: max retries exceeded: unexpected EOF

C:\Users\denise>ollama run deepseek-r1:70b
pulling manifest
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/deepseek-r1/manifests/70b": tls: failed to verify certificate: x509: certificate has expired or is not yet valid:

Heute wollte ich es dann wieder versuchen und es hat wieder bei 0% angefangen, wahrscheinlich weil ich den PC runtergefahren hab. Kann mir jemand erklären was dieser x509 Fehler ist und ob es eine Möglichkeit für mich gibt die 42gb deepseek KI zu bekommen?

 

[JumpingCat]

Einfach nochmal versuchen. Da fand gerade ein Tausch des Zertifikats statt. Kann mir vorstellen das denen das abgelaufen war.

Hast du für das Modell genug GPU RAM bzw. RAM? :-)

 

[kartoffelpü]

Kann schon sein, dass das Zertifikat gestern tatsächlich schon ungültig war. Seit heute früh liefert der Webserver ein neues und gültiges Cert aus:

 

[WildKätzchen]

Vielen Dank für die Antworten. Ist das eher ungewöhnlich und ist es wahrscheinlich, dass sich das nicht wiederholt wenn ich es innerhalb der nächsten Woche lade?

Ergänzung (7. Februar 2025)

Hast du für das Modell genug GPU RAM bzw. RAM? :-)

Wie viel wäre denn genug?

 

[Ayo34]

Hast du für das Modell genug GPU RAM bzw. RAM? :-)

48GB VRAM und das 70B Model ist problemlos möglich.

 

[WildKätzchen]

Okay, ich habe gerade gefragt und meine Grafikkarte hat 8gb und der PC 32gb.

 

[Ayo34]

Dann solltest du eine optimierte Version vom 7B oder 8B Model laden mit max. 8GB. Sobald du von VRAM einiges in den RAM auslagert, wird das Modell bzw. die Ausführung deutlich langsamer.

 

[WildKätzchen]

Welches Model soll ich Laden, wenn ich etwas warten kann und was ist der Unterschied zwischen den Größen in der Praxis?

 

[JumpingCat]

Die größeren Modelle sind halt genauer aber dafür langsamer und brauchen mehr RAM.

Halbwegs performant kommt man auf der CPU mit ca 2 stelligen Modellen voran. Die laufen auf der GPU dann extrem fix. Hier limitiert aber halt schnell der VRAM pro CPU bei Endanwenderhardware.

 

[Ayo34]

Welches Model soll ich Laden, wenn ich etwas warten kann und was ist der Unterschied zwischen den Größen in der Praxis?

Du solltest das größtmögliche Modell laden, welches in deine GPU passt. Umso größer, umso besser, aber wenn es nicht läuft auf deiner Hardware, bringt es ja nichts.

 

[WildKätzchen]

@Ayo34 Okay, so wie ich dich verstehe würde die 42gb Version bei mir nicht laufen. Auf meinem vram würde 8b laufen. Es wäre aber auch deutlich langsamer eine andere Version möglich im ram ausgelagert. Ist das so richtig? Wäre das dann so langsam, dass es praktisch nicht mehr Nutzbar ist? Welche Version könnte ich nehmen wenn ich auf dem ram auslagere?

 

[JetLaw]

Ich würde auch maximal das 8b Modell ausprobieren. Das 32b braucht knapp 24 GB VRAM.
Damit du mal sieht wie es läuft, wenn du zu wenig VRAM hast.
Der Youtuber nutzt mit der 3090 ein 32b Modell, das sollte eigentlich gut laufen, aber ist bei ihm recht langsam. So ungefähr, läuft das 70b Modell auf meiner 4090, da sind dann 23,5 GB VRAM und knapp 21 GB RAM belegt.

 

[NameHere]

Je nach dem wie das System genutzt wird, kann man die Monitore an die iGPU (Ffalls vorhanden) anschließen und hat dann mehr VRAM für die jeweilige Anwendung zur Verfügung. Macht ca. 1GB die man mehr zur Verfügung hat.

Ich nutze die 3060 meist für StableDiffusion. Wenn ich Lora's erstelle sind 11,5-11,8GB VRAM belegt. Das würde nicht funktionieren wenn die Monitore an der Grafikkarte hängen würden, da ~ 1GB VRAM schon belegt wäre.

 

[WildKätzchen]

Der Youtuber nutzt mit der 3090 ein 32b Modell, das sollte eigentlich gut laufen, aber ist bei ihm recht langsam. So ungefähr, läuft das 70b Modell auf meiner 4090, da sind dann 23,5 GB VRAM und knapp 21 GB RAM belegt.

Danke für deine Antwort, aber dieses Video ist 30 Minuten lang, das kann ich nicht ganz gucken. Ich habe bei ca 25:30 geguckt. Da zeigt er 32b und gibt was ein, sagt es "dauert ein bisschen" und schneidet dann das video. Also ich kann daraus nichts schließen.

Ergänzung (7. Februar 2025)

Je nach dem wie das System genutzt wird, kann man die Monitore an die iGPU (Ffalls vorhanden) anschließen und hat dann mehr VRAM für die jeweilige Anwendung zur Verfügung. Macht ca. 1GB die man mehr zur Verfügung hat.

Anhang anzeigen 1580957

Ich nutze die 3060 meist für StableDiffusion. Wenn ich Lora's erstelle sind 11,5-11,8GB VRAM belegt. Das würde nicht funktionieren wenn die Monitore an der Grafikkarte hängen würden, da ~ 1GB VRAM schon belegt wäre.

Okay, danke für den Tipp. Also wenn ich eine Minute auf die Antwort warten muss, ist das auch nicht so schlimm.

 

[Ayo34]

Probiere es aus, aber es macht kein Spaß auf Dauer.

 

[NameHere]

Okay, danke für den Tipp. Also wenn ich eine Minute auf die Antwort warten muss, ist das auch nicht so schlimm.

Bei den großen Modellen wird dir der VRAM und RAM überlaufen, weil du nur maximal 40GB zusammen hast. (Graka 8GB und 32GB RAM).
Danach wird es super langsam und du kannst zwischen den Antworten duschen, einkaufen usw.^^

 

[JetLaw]

Danke für deine Antwort, aber dieses Video ist 30 Minuten lang, das kann ich nicht ganz gucken. Ich habe bei ca 25:30 geguckt. Da zeigt er 32b und gibt was ein, sagt es "dauert ein bisschen" und schneidet dann das video. Also ich kann daraus nichts schließen.

Das fängt etwa bei 20:30 an. Da tippt er etwas ein und dann läuft die Antwort.
Was ich lustig fand, er sagt dann noch: "Das wäre ja nicht so langsam". Wenn man dann mal gesehen hat wie schnell die Antwort kommt, wenn es im VRAM läuft, dann sieht man wie langsam das bei ihm wirklich ist.

 

[WildKätzchen]

Vielen Dank. Also ich werde mal die 9gb Version versuchen. Ich kann etwas auf die Antwort warten, aber einen Einkauf möchte ich dabei nicht machen.

Ergänzung (7. Februar 2025)

Das fängt etwa bei 20:30 an. Da tippt er etwas ein und dann läuft die Antwort.
Was ich lustig fand, er sagt dann noch: "Das wäre ja nicht so langsam". Wenn man dann mal gesehen hat wie schnell die Antwort kommt, wenn es im VRAM läuft, dann sieht man wie langsam das bei ihm wirklich ist.

Ja, also so schnell braucht es für mich nicht sein. So schnell kann ich gar nicht lesen.

 

[NameHere]

Wenn es mal länger dauern darf^^

 

[WildKätzchen]

@NameHere 😅 Das möchte ich nicht ins Navi eingeben müssen.

Also wie ich es verstehe, kann ich mit der KI eine Unterhaltung haben. Kann ich die KI auch aufordern mein englisch zu korrigieren während ich damit rede? Ich habe gehört, dass man mit KI auch Bilder und Musik machen kann. Geht das damit auch?