ollama deepseek-r1:70b - x509: certificate has expired or is not yet valid:

[oicfar]

Haha, ja so hatte ich mir das vorgestellt. Also ich werde mal die 32b laden.

32b mit einer 8GB Grafikarte?! Berichte dann mal wie viel Tokens/s du damit hast.

 

[WildKätzchen]

@oicfar Wie kann ich die tokens sehen?

 

[oicfar]

Ich mache es mit Open WebUI usw.

Ansonsten

$ ollama run llama3.2 --verbose
>>> Tell me a joke.
Here's one:

What do you call a fake noodle?

An impasta.

I hope that made you smile! Do you want to hear another one?

total duration:       218.551323ms
load duration:        17.819549ms
prompt eval count:    30 token(s)
prompt eval duration: 4ms
prompt eval rate:     7500.00 tokens/s
eval count:           33 token(s)
eval duration:        195ms
eval rate:            169.23 tokens/s
>>> Send a message (/? for help)

Ergänzung (11. Februar 2025)

Und dann mal ein wenig Docu lesen. Das gehört dazu, wenn man KI installiert.

 

[WildKätzchen]

Hab gestern 6 Stunden 32b geladen und es sind es stand am am Ende bei ca 600mb. Ergibt keinen Sinn es hätten mehrere gb sein müssen. Irgendwie habe ich kein Glück.

 

[oicfar]

Was für eine Leitung hast du? Ich kann die LLMs mit Ollama mit 100% meiner Leitung runterladen.

 

[oicfar]

Bei mir aktuell

$ ollama pull llama3.2-vision:11b
pulling manifest
pulling 11f274007f09...   4% ▕█                                       ▏ 215 MB/6.0 GB   12 MB/s   7m39s

Konstant mit 12MB.

 

[JumpingCat]

Telekom zu Cloudflare? 🤔

 

[oicfar]

Ich meinte, dass es bei mir geht. Habe keine Probleme wir @WildKätzchen .

 

[WildKätzchen]

@oicfar Ich habe es geduldig noch mal probiert und es hat jetzt geklappt. (Yay!)

Mit den Token/s habe ich das nicht hinbekommen. Ich benutze ollama mit comand promt. Von der Geschwindkeit ist es aber so schnell wie ich jemanden vorlesen würde.

Ich wollte das deepseek einen Charakter annimmt mit den ich mich auf englisch unterhalten kann. Deshalb habe ich nach den Persönlichkeiten gefragt die am meisten in der deepseek Datenbank dokumentiert sind, damit ich einen möglichst komplexen Charakter bekomme. Als ich das Ergebnis sah, bat ich deepseek mir nur Persönlichkeiten zu nennen, die meiner Ethnie entsprechen. Da hat sich deepseek erst geweigert. Ich habe es neu gestartet und anders formuliert und dann hat es eine Gedankenbrezel gemacht und mir Ergebnisse wie Kamala Harris genannt. Anscheinend ist es ethisch nicht vertretbar mir sowas aufzulisten für deepseek. Kann man der KI Anweisungen geben sowas zu unterbinden?

 

[JumpingCat]

Geht es dir um die Temperatur oder die Einschränkungen auf den kommerziellen Modellen?

 

[WildKätzchen]

@JumpingCat Ich weiß nicht was das bedeutet, sry. Ich benutze diesen Befehl:
ollama run deepseek-r1:32b

Ich stelle ganz normale fragen und Deepseek kommt mir mit 'ethical implications' und produziert unsinnige Ergebnisse. Kann man deepseek irgendwas sagen, damit es das lässt?

 

[oicfar]

ollama run deepseek-r1:32b

Um Statistiken zu sehen musst du ollama run deepseek-r1:32b --verbose aufrufen.

Ich stelle ganz normale fragen und Deepseek kommt mir mit 'ethical implications' und produziert unsinnige Ergebnisse. Kann man deepseek irgendwas sagen, damit es das lässt?

Dann schick mal, was du da schreibst und man kann es ausprobieren.

 

[WildKätzchen]

Um Statistiken zu sehen musst du ollama run deepseek-r1:32b --verbose aufrufen.

Okay, das werde ich bei Gelegenheit mal probieren.

Dann schick mal, was du da schreibst und man kann es ausprobieren.

Ich habe leider nicht gespreichert was ich da geschrieben habe. Ich habe nach den top 10 weißen Persönlichkeiten gefragt zu dem deepseek am meisten daten hat, da sagte es 'Aus welchem Grund die das wohl fragt. Oh nein nein, das kann ich nicht erstellen wegen ethical guidlines und safeguards. Naja, nervt. Ich habe deepseek auch gebeten den Charakter von Greta Thunberg aufzunehmen und dann hat es rumgezickt wegen Persönlichkeitsrechten. Danach habe ich es geschaft, dass es das doch macht, aber das macht es sehr oberflächlich und redet nur von Umweltschutz ohne den Charakter wirklich abzubilden. Greta Thunberg würde wahrscheinlich auch unter umständen weniger freundlich werden, wenn man gewisse Sachen sagt, die KI besteht aber immer darauf freundlich zu bleiben. Das alles stört ich würde es gerne abschalten.

Mir geht es darum Charaktere zu Unterhalten zu haben, die realistischere Züge haben.

 

[JumpingCat]

Wieso fragst du ein chinesisches Modell was nachweislich stark zensiert ist und den strikten Vorgaben aus China folgt solche Dinge? 🤔

Frag doch mal nach dem perfekten Chinesen 😉

 

[WildKätzchen]

@JumpingCat Ja, ne. Das Ding ist zensiert. Das ist bisschen doof find ich.

 

[oicfar]

Mir geht es darum Charaktere zu Unterhalten zu haben, die realistischere Züge haben.

Versuche mal mit: https://openwebui.com/p/tsubaki/rp

Ergänzung (14. Februar 2025)

@JumpingCat Ja, ne. Das Ding ist zensiert. Das ist bisschen doof find ich.

sehr sehr sehr viele LLMs sind zensiert.

Und dann gibt es z.B. so was: https://ollama.com/library/llama2-uncensored

 

[Rickmer]

Das ist bisschen doof find ich.

Schau dir vielleicht mal Dolphin Mixtral an?
https://ollama.com/library/dolphin-mixtral:8x7b

Aber etwas vergleichbares wie Llama 3.3 70B (was also noch halbwegs auf einem privaten PC läuft) gibt es aktuell nicht unzensiert soweit ich weiß