Lokallaufende KI/AI Geheimtipps Erfahrungswerte gesucht

[Don-DCH]

Guten Mittag zusammen,

mich würde sehr interessieren, ob ihr lokale KI Anwendungen hostet wie Beispielsweise Stable Diffusion oder ein lokales Sprachmodell ähnlich ChatGPT.

Insbesonders, welche Erfahrungen Ihr damit habt. Sicherlich gibt es viele Websites, welche eine Aufzählung bieten über sämtliche Anwendungen. Mich würde primär interessieren, was Ihr für Erfahrungen damit gemacht habt. Welche Tools Ihr empfehlen könnt und wie man diese am besten installiert!

Über Eure Erfahrungswerte würde ich mich sehr freuen.

Ich persönlich habe mir einen Unraid Server installiert und habe dort im App Store ein bisschen gestöbert
Bisher habe ich nur Local AI installiert. Mangels passender GPU fällt Stable Diffusion aktuell noch raus.

Viele Grüße und einen schönen Tag euch

 

[oicfar]

Guten Mittag zusammen,

mich würde sehr interessieren, ob ihr lokale KI Anwendungen hostet wie Beispielsweise Stable Diffusion oder ein lokales Sprachmodell ähnlich ChatGPT.

Habe ich. Stable Diffusion und GPT4ALL (https://gpt4all.io/index.html). Mit GPT4ALL schaue ich mir verschiedene LLMs an.

Ich habe keine dedizierte GPU sondern eine APU (8c/16t). Für das was ich mache, reicht es für den Anfang. Längerfristig will ich schon ein System, welches für KI Anwendung "optimiert" ist, haben. Aber das eilt nicht.

Insbesonders, welche Erfahrungen Ihr damit habt. Sicherlich gibt es viele Websites, welche eine Aufzählung bieten über sämtliche Anwendungen. Mich würde primär interessieren, was Ihr für Erfahrungen damit gemacht habt. Welche Tools Ihr empfehlen könnt und wie man diese am besten installiert!

Hierzu gibt es viele Tools, die man zum Einstieg nutzen kann.

Die Frage ist: Was möchte ich machen und was ist mein Ziel? Und nicht, was andere damit machen. Denn jeder hat seine eigene Ziele.

Brauchst du lokal KI?

Ich persönlich habe mir einen Unraid Server installiert und habe dort im App Store ein bisschen gestöbert
Bisher habe ich nur Local AI installiert. Mangels passender GPU fällt Stable Diffusion aktuell noch raus.

Stable Diffusion geht auch nur mit CPU. Dauert aber länger als mit einer passenden GPU.

 

[Don-DCH]

Vielen herzlichen Dank für die sehr ausführliche Antwort!

Habe ich. Stable Diffusion und GPT4ALL (https://gpt4all.io/index.html). Mit GPT4ALL schaue ich mir verschiedene LLMs an.

Darf ich fragen auf welchem OS du das installiert hast ?

GPT4ALL finde ich sehr interessant!
Da habe ich letztens ein Video zu GPT4All gesehen, was man mit seinen Dokumenten Füttern kann und dazu fragen stellen kann. Das fand ich sehr spannend.

Die Frage ist: Was möchte ich machen und was ist mein Ziel? Und nicht, was andere damit machen. Denn jeder hat seine eigene Ziele.

Hmm, das ist eine sehr gute Frage. Ich finde Bildgenerierung sehr spannend und auch einen Chat Assistenten lokal zu haben wie ChatGPT super praktisch.

Die Frage was ich amchen möchte ist tatsächlich shcwer zu beantworten.
Da ich vor dem Erscheinen von ChatGPT garnicht wusste, das man sowas wirklich mal ganz gut verwenden kann und es hilfreich ist.
Genauso denke ich ist es mit Stable Diffusion.
Musik lokal zu generieren wie Suno.AI oder Udio fände ich auch mega falls es sowas gibt?

Generell finde ich Ki spannend und vielleicht kommt der Einsatzzweck mit Erfharungswerten und persönlichen Empfehlungen, so habe ich es mir irgendwie gedacht

APU (8c/16t

Welche genau hast du?

LLMs

Welches LLM verwendest du primär und wie lange musst du auf die Antwort warten?

Ist RAM sehr wichtig?

Brauchst du lokal KI?

Nicht zwingend aber wäre schon praktisch und wenn es ähnlich gut zu ChatGPT und Google Gemini ist vielleicht auch interessant da nicht sämtliche Daten gesammelt werden.

Auch die Einbindung meiner Dokumente fand ich grad gut.
Das ich dazu fragen stellen kann.

Stable Diffusion geht auch nur mit CPU. Dauert aber länger als mit einer passenden GPU.

Ah das wusste ich garnicht ich dachte es wird zwingend eine GPU benötigt mit viel VRAM.

 

[CoMo]

Da ich gerade gerne etwas größere Modelle hätte, bin ich gerade auf https://ollama.com/ gestoßen. Die Modelle dort kann man dann wohl für die Apps in Pinokio nutzen.

Ich plane, llama3-gradient:70b und auch das instruct Modell mit einem 512k context window zu testen, muss aber erst mal meine RAMDisk verkleinern und bin noch nicht zum Reboot gekommen.

Bisher habe ich nur mit GPT4All rumgespielt, meist mit Wizard 1.2.

 

[oicfar]

Vielen herzlichen Dank für die sehr ausführliche Antwort!


Darf ich fragen auf welchem OS du das installiert hast ?

Läuft bei mir unter Windows 11 Pro.

GPT4ALL finde ich sehr interessant!

Es gibt noch:

• https://lmstudio.ai/
• https://github.com/oobabooga/text-generation-webui

Da habe ich letztens ein Video zu GPT4All gesehen, was man mit seinen Dokumenten Füttern kann und dazu fragen stellen kann. Das fand ich sehr spannend.

Das mit den eigenen Dokumenten habe ich noch nicht ausprobiert. Da fehlt mir noch der Use-Case.

Hmm, das ist eine sehr gute Frage. Ich finde Bildgenerierung sehr spannend und auch einen Chat Assistenten lokal zu haben wie ChatGPT super praktisch.

Wenn ich da was brauche, dann greife ich zu ChatGPT.

Die Frage was ich amchen möchte ist tatsächlich shcwer zu beantworten.

Nur weil es z.Z. ein Hype ist, muss man nicht auf den Zug aufspringen.

Da ich vor dem Erscheinen von ChatGPT garnicht wusste, das man sowas wirklich mal ganz gut verwenden kann und es hilfreich ist.
Genauso denke ich ist es mit Stable Diffusion.
Musik lokal zu generieren wie Suno.AI oder Udio fände ich auch mega falls es sowas gibt?

Musik ist nicht mein Use-Case. Aber da gibt's was,

Am Ende braucht KI gute Hardware und viel Energie, wenn man damit viel machen möchte.

Generell finde ich Ki spannend und vielleicht kommt der Einsatzzweck mit Erfharungswerten und persönlichen Empfehlungen, so habe ich es mir irgendwie gedacht

Ich versuche es ein wenig zu "verstehen" und zu schauen, wie ich es sinnvoll bei mir einsetzen/nutzen kann. Deswegen lasse ich es lokal laufen.

Welches LLM verwendest du primär und wie lange musst du auf die Antwort warten?

Es kommen immer wieder neue LLMs hinzu. Ich setze mich alle paar Wochen für 1-2 Tage ran und schauen, was hinzugekommen ist und was ich ausprobieren kann.

Ist RAM sehr wichtig?

Ja. VRAM und RAM. Eine GPU sollte schon mind. 16GB haben. Und RAM sollte auch nicht unter 64GB sein. Ansonsten kriegst du manche LLMs nicht zum Laufen.

Ich habe gestern paar Bilder mit SD generiert und von den 64GB RAM wurden fast 50GB belegt.

Nicht zwingend aber wäre schon praktisch und wenn es ähnlich gut zu ChatGPT und Google Gemini ist vielleicht auch interessant da nicht sämtliche Daten gesammelt werden.

Frage dich erstmal: Wofür brauche ich es? Was nützt es mir? Was habe ich davon?

Auch die Einbindung meiner Dokumente fand ich grad gut.

Und dann? Hast eingebunden und? Welcher Use-Case steht dahinter?

Das ich dazu fragen stellen kann.

Zu den Dokumenten? Welche Fragen? Wie oft machst du das?

Ah das wusste ich garnicht ich dachte es wird zwingend eine GPU benötigt mit viel VRAM.

Es geht aber halt langsamer. Gestern brauchte SD bei den Bildern, die ich generiert habe ca. 50 Minuten pro Bild. Hängt am Ende von den Parametern ab, die gesetzt sind. Keine Ahnung, wie lange die gleichen Bilder mit einer GPU brauchen würden. Da habe ich noch kein Vergleich.

Ergänzung (6. Mai 2024)

Ich habe noch ein Bash-Skript von einem LLM analysieren und verbessern lassen. Es wurden 3-4 Sachen geändert. Dauerte schon ~5 Minuten bis ich das Ergebnis in GPT4ALL hatte. Also wenn ich mich noch mehr mit dem Thema beschäftigen sollte, dann muss ich mir schon eine gute GraKa kaufen.

Ergänzung (6. Mai 2024)

Welche genau hast du?

AMD Ryzen 7 5700G

Ergänzung (6. Mai 2024)

Ich will z.Z. noch nicht viel Geld in die neue Hardware reinstecken, da ich noch nicht sicher bin, ob ich das wirklich brauchen werde. Auf der einen Seite kommen CPUs mit einer NPU Einheit drauf. Da will ich schauen, was das am Ende bringt und ob und wie die Software es nutzen wird. Thema GraKa wäre wäre was Richtung 4090. Oder mal was kleineres (aber teurer) PNY NVIDIA RTX 4000 ADA 20GB oder PNY NVIDIA RTX A4000 16GB. Dann kann ich einen Mini-Server hinstellen und jeder im Haushalt könnte es nutzen.

Deswegen will ich z.Z. noch kein Geld in neue Hardware reinstecken.

 

[Bohnenhans]

gelöscht Ups auf Pinokino wurde ja schon von CoMo hingewiesen - echt ein cooles Tool für den ganzen freien KI Kram

 

[Don-DCH]

Die Modelle dort kann man dann wohl für die Apps in Pinokio nutzen.

Pinokio habe ich auch schon gesehen bei CT 3003 in einem Video.
Sah recht gut aus. Wobei dort auch gesagt wurde das es ein bisschen heikel ist, weil irgendwelche Scripte ausgeführt werden.

Pinokio selbst ist ja auf Github.

Ist die Frage ob es sicher verwendet werden kann hmm.

Ich plane, llama3-gradient:70b

Ui, da brauch man viel RAM

• https://lmstudio.ai/
• https://github.com/oobabooga/text-generation-webui

Danke dir, werde ich mir auch mal ansehen. Aktuell habe ich nur Local AI unter Unraid.

Das mit den eigenen Dokumenten habe ich noch nicht ausprobiert. Da fehlt mir noch der Use-Case.

Manchmal hab ich mich schon gefragt wo das nochmal genau in der PDF Stand und wenn man das irgendwie smart durchsuchen könnte wäre super praktisch

Wenn ich da was brauche, dann greife ich zu ChatGPT.

Ich aktuell auch, aber es lokal zu haben hätte auch was, sofern es ungefähr chat gpt einigermaßen gleich kommt

Nur weil es z.Z. ein Hype ist, muss man nicht auf den Zug aufspringen.

Das stimmt. Allerdings bin ich sehr technikbegeistert und sehr interessiert und finde vieles spannend und probiere gern aus.

Musik ist nicht mein Use-Case. Aber da gibt's was,

Hast du da eine Empfehlung?
Bisher kenne ich nur das man Geräusche oder Soundtrack mäßig was machen kann. Mit Suno.ai und Udio kann man ganze Lieder selbst erstellen mit eigenen lyrics, gerade das finde ich mega gut und nutze ich sehr gern!

Vorher hätte ich nie gedacht, das ich das "brauche" das ich damit spaß habe aber jetzt wo ich es nutze macht es mir spaß Lieder zu schreiben, darüber nachzudenken und das dann zu einem Song umwandeln zu können, was sehr gut klappt meiner Meinung nach, ich ohne KI aber nie so leicht hinkriegen würde.

Ja. VRAM und RAM. Eine GPU sollte schon mind. 16GB haben. Und RAM sollte auch nicht unter 64GB sein. Ansonsten kriegst du manche LLMs nicht zum Laufen.

64GB RAM ist machbar 16GB VRAM wird mit Nvidia mit meinem Budget sehr schwer :/

12GB sind drinne aber 16GB nicht.

Ich habe gestern paar Bilder mit SD generiert und von den 64GB RAM wurden fast 50GB belegt.

Wahnsinn!
Das ist ja wirklich extrem viel. In welcher AUflösung hast du rendern lassen?

Frage dich erstmal: Wofür brauche ich es? Was nützt es mir? Was habe ich davon?

Hmm viel ist neugier, ausprobieren.
Einiges finde ich praktisch ChatGPT zu fragen und lokal wäre es mir viel lieber.

Zu den Dokumenten? Welche Fragen? Wie oft machst du das?

Sicher nicht allzuoft, aber schadet nicht es zu haben finde ich

die ich generiert habe ca. 50 Minuten pro Bild.

Oha, das ist schon sehr lange.
Ich habe Zeit aber 50 Minuten ist ne Hausnummer

Dauerte schon ~5 Minuten bis ich das Ergebnis in GPT4ALL hatte.

Wow das ist lange für eine Anfrage?

Auf der einen Seite kommen CPUs mit einer NPU Einheit drauf.

Das stimmt, da frage ich mich auch inwieweit das was ändert und ob es das schon tut oder ob es noch mehrerer Generationen Bedarf....

Thema GraKa wäre wäre was Richtung 4090. Oder mal was kleineres (aber teurer) PNY NVIDIA RTX 4000 ADA 20GB oder PNY NVIDIA RTX A4000 16GB.

ui und ich finde ne 4090 schon mega teuer ^^

Pinokino wurde ja schon von CoMo hingewiesen - echt ein cooles Tool für den ganzen freien KI Kram

Hast du es im Einsatz?
Wenn ja unter welchem Betriebssystem?
Wie würdest du die Sicherheit einschätzen, kann man es problemlos verwenden oder eher mit Vorsicht genießen^^?

 

[oicfar]

Manchmal hab ich mich schon gefragt wo das nochmal genau in der PDF Stand und wenn man das irgendwie smart durchsuchen könnte wäre super praktisch

Da würde ich aber https://github.com/paperless-ngx/paperless-ngx nehmen.

Das stimmt. Allerdings bin ich sehr technikbegeistert und sehr interessiert und finde vieles spannend und probiere gern aus.

Das ist auch gut. So Ticke ich auch. Aber dann schaue ich, was will ich am Ende erreichen oder ich probiere aus und schaue was dabei rauskommt.

Hast du da eine Empfehlung?

Leider nein, da ich eher Musik konsumiere als selbst was herstelle.

64GB RAM ist machbar 16GB VRAM wird mit Nvidia mit meinem Budget sehr schwer :/

12GB sind drinne aber 16GB nicht.

Also (V)RAM ist bei KI sehr wichtig. Je mehr, desto besser.

Wahnsinn!
Das ist ja wirklich extrem viel. In welcher AUflösung hast du rendern lassen?

832x1152.

Die Sampling Steps machen es länger

Ich habe schon Bilder in der Auflösung generiert, die 10-15 Minuten benötigt haben.

Hmm viel ist neugier, ausprobieren.
Einiges finde ich praktisch ChatGPT zu fragen und lokal wäre es mir viel lieber.

Aber auch das Fragen muss gelernt sein.

Ich habe mit Hilfe von ChatGPT 3.5 schon mal ein ca. 20 Seitiges Paper geschrieben. Habe von der KI mal den Grundgerüst für die einzelnen Kapitel erstellen lassen. Hat mir hier 1-2 Wochen Arbeit abgenommen. Und dann konnte ich mich an die Anpassung/Vertiefung ranmachen. Das Thema war nix komplexes. Aber ich musste trotzdem einige Passagen überarbeiten.

Oha, das ist schon sehr lange.
Ich habe Zeit aber 50 Minuten ist ne Hausnummer

Stört mich nicht. Klar mit einer GPU wäre das schneller.

Wow das ist lange für eine Anfrage?

Ja, wenn man so was bei ChatGPT machen würde, dann geht es sehr schnell. AN sich in Echtzeit. Aber ChatGPT 3.5 hat zu viel verändert. Zum Teil das rausgenommen, was mir wichtig war.

ui und ich finde ne 4090 schon mega teuer ^^

Die 4090 würde ich wg. dem Anschluss nicht kaufen. Mal schauen was mit 5090 sein wird. Wie geschrieben, ich habe hier keine Eile.

Vielleicht kann ich auf der Arbeit mal mit https://www.nvidia.com/de-de/design-visualization/rtx-a6000/ rumspielen. Das wäre dann noch cooler.

Ergänzung (6. Mai 2024)

@Don-DCH ich habe aktuell ein Prozess in SD gestartet. Ich möchte das Bild von gestern mit paar anderen Parametern rendern. So sieht es aus

CPU: 8c/16t.

Und es soll

dauern.

 

[Don-DCH]

Vielen herzlichen Dnak dir für deien super ausführliche Antwort!

Da würde ich aber https://github.com/paperless-ngx/paperless-ngx nehmen.

Hmm ja das habe ich mir auch mal kurz angeschaut ist vielleicht doch besser geeignet.
Müsste man mal testen

Die Sampling Steps machen es länger

Ah ok, ist das die Anzahl wie oft er das Bild berechnet?

Aber auch das Fragen muss gelernt sein.

Das stimmt auf jeden Fall!

Ich habe mit Hilfe von ChatGPT 3.5 schon mal ein ca. 20 Seitiges Paper geschrieben. Habe von der KI mal den Grundgerüst für die einzelnen Kapitel erstellen lassen. Hat mir hier 1-2 Wochen Arbeit abgenommen. Und dann konnte ich mich an die Anpassung/Vertiefung ranmachen. Das Thema war nix komplexes. Aber ich musste trotzdem einige Passagen überarbeiten.

Hmm ja die Erfharung habe ich auch gemacht in bereich Scripting, man muss schon ungefähr wissen was es für Befehle/Parameter gibt, manchmal ist wirklich viel Unsinn dabei was ChatGPT macht.

Es gibt einem eher eine Idee und leichte Hilfe.

ich habe aktuell ein Prozess in SD gestartet. Ich möchte das Bild von gestern mit paar anderen Parametern rendern. So sieht es aus

Ordentliche AUslastung, aber auch schön das die ganzen Ressourcen genutzt werden können.

 

[oicfar]

Vielen herzlichen Dnak dir für deien super ausführliche Antwort!

Gerne.

Hmm ja das habe ich mir auch mal kurz angeschaut ist vielleicht doch besser geeignet.
Müsste man mal testen

Kann man mit Docker Setup leicht testen.

Ah ok, ist das die Anzahl wie oft er das Bild berechnet?

'Sampling steps' in stable diffusion are like the individual brushstrokes in our painting analogy. Each step is a phase where the AI makes adjustments to the image, getting it closer to the final result. Fewer steps mean a faster process but can result in less detail. More steps allow for finer details but take longer.

Hmm ja die Erfharung habe ich auch gemacht in bereich Scripting, man muss schon ungefähr wissen was es für Befehle/Parameter gibt, manchmal ist wirklich viel Unsinn dabei was ChatGPT macht.

Genau. Man sollte halt nicht immer blind darauf vertrauen.

Ordentliche Auslastung, aber auch schön das die ganzen Ressourcen genutzt werden können.

Das schon. Aber man will auch, dass das effizient ist. KI braucht aber insgesamt deutlich mehr Energie.

 

[Treiber]

.... Mangels passender GPU fällt Stable Diffusion aktuell noch raus.

Das liegst du richtig. Ich habe das am Anfang auch ohne dafür passende Graka versucht und das war im Nachhinein eine riesige Zeitverschwendung. Probiere dich online aus und eine entspreche GPU kannst du später immer noch nachrüsten.