KI-Chatbot auf Linux Server

[Pfandfinder]

hallo,

ich habe einen Debian Server am Laufen und bin mit PHP vertraut, daher würde ich so langsam gerne mal einen eigenen KI-Chatbot aufsetzen, der lokal auf dem Server läuft und dessen Antworten ich mit PHP dann weiterverarbeiten kann. Habe bis jetzt aber nichts passendes gefunden.

Hat jemand Erfahrung oder Tipps was es da so gibt ?

 

[Tornhoof]

Naja, musst llama.cpp oder so anbinden:
https://github.com/ggerganov/llama.cpp

Wenn du aber keine "dicke" Grafikkarte und/oder NPU in deinem Server hast, dann musst du schon ziemlich experimentieren.

 

[SpartanerTom]

Das Einfachste wäre wahrscheinlich Ollama im Docker Container. Gibt es mit CUDA und ROCM, funktioniert aber auch mit CPU Inferenz. Letzteres ist dann aber entsprechend langsam.

https://ollama.com/

 

[Der_Dicke82]

+1 Ollama
Allerdings weiss ich nicht warum du unbedingt mit PHP die "Verarbeitung" machen willst. Es gibt schon Pythonlösungen aber selbst das ist mir teilweise zu umständlich, deswegen mache ich fast alles mit bash ;-)

 

[BeBur]

Vieles bei Bash ist unnötig kompliziert, gibt nur wenige gute Gründe das noch zu verwenden oder gar anderen dazu zu raten mal von rudimentärer Nutzung abgesehen.

 

[heulendoch]

Ollama+AnywhereLLM

 

[CyborgBeta]

Ich würde empfehlen, ein OpenAI-Konto anzulegen: einfacher, schneller und bessere Ergebnisse.