Lokales LLM zur Textverarbeitung

[Bully75]

Hallo zusammen,

es ist echt schwierig, ein Forum zu finden, wo diese Themen behandelt werden. Ich hoffe, hier kann mir jemand weiterhelfen.

Ich suche für eine Projektarbeit eine lokale Lösung, um Texte automatisch zu verarbeiten. Es geht um Artikelbeschreibungen für einen Onlineshop. Von div. Lieferanten gibt es teilweise unterschiedliche Artikelbeschreibungen und bis jetzt wird für den Artikel einfach der längste Text in den Shop übernommen. Ziel ist es, die Informationen zu konsolidieren und eine neue Beschreibung zu erstellen.
Dabei möchte ich auch gerne angeben, wie der Text formuliert werden soll bzw. wie er aufgebaut ist. Die Anweisung lautet zum Beispiel: "Erstelle aus den folgenden Artikelbeschreibungen eine neue Artikelbeschreibung, die alle Informationen enthält. Zuerst kommt die Beschreibung als Fließtext, danach sollen die technischen Daten aufgeführt werden. Wenn eine Gruppierung möglich ist, dann soll die Gruppierung immer mit einer Überschrift beginnen, die mit einem Doppelpunkt beendet wird. Die Unterpunkte sollen dann mit - beginnen"
In ChatGPT funktioniert das ganz gut, allerdings soll das ja dauerhaft und automatisiert (API) eingesetzt werden. Da sind die Onlinetools zu teuer. Kennt jemand eine lokale Lösung, mit der man so etwas realisieren kann?

Vielen Dank.
Ralph

 

[duAffentier]

Es gibt doch auch Excels mit API zu ChatGPT...20€ pro Monat wäre ja Ok.

Es gibt Offline Tools. Aber ob die lokal mit API gehen.
https://www.bigdata-insider.de/gpt4all-ki-ohne-internet-nutzen-a-a603b9394932ca7db9e07273e545c003/

GPT4all sollte gehen! Da kann man viele versch. Modelle probieren.

 

[LencoX2]

Ich verstehe "dauerhaft automatisiert", so dass es eine bestehende Applikation gibt, in welche die Automatisierung eingebaut werden soll. Anderenfalls kannst du die Programmiertechnologie frei aussuchen.
Egal wie wirst du wohl nicht umhin kommen, die Automatisierung selbst zu programmieren. Das geht mit jeder höheren Programmiersprache:

Grober Ablauf je Artikelbeschreibung:

• Artikelbeschreibung laden
• in Datenstruktur für API Call konvertieren
• Prompt für API Call erzeugen
• API Call mit Request absetzen
• API Response auswerten (konvertieren etc)
• die neue Artikelbeschreibung in Datenbank zurückschreiben

Dafür kommt im Prinzip jede LLM-AI API in Betracht. Wenn Internet Zugang vorhanden, dann auch ChatGPT.

Anderenfalls kann eine eigener LLM-AI Server aufgesetzt werden, bspw:
Mistral 7B hat bei ca halber Größe eine mit ChatGPT 3 vergleichbare Leistungsfähigkeit. Man darf sie kostenfrei nutzen. Anleitung hier: https://www.tftc.io/installing-mistral-seven-b-on-windows/

 

[Karl1b]

Mit https://ollama.com/ mit einem 08/15 Python script geht das.

Der Haken: Dein Rechner muss gut genug sein, um die größeren Modelle laufen zu lassen.

 

[NJay]

+1 für @Karl1b vorgeschlagenes Ollama.

Hat GPU-Support und eingebautes Model-handling und man kann die API einfach konsumieren. Gibt auch gute Frontends und GUIs dafür zum ausprobieren.

 

[jotka24]

Plädiere auch für Ollama, ggfs im Verbund mit Open Webui. Nach erledigter Installation und Auswahl des Models kann das Modell per lokaler Api-Calls auf den Localhost antworten. Per FastAPI lässt sich das Ganze aber noch schöner bewerkstelligen. Gibt viele gute Tutorials im Netz (einfach die Schlagwörter in Google im Verbund mit "Ollama" eingeben).