KI Assistent welcher NSFW Inhalte erlaubt

[MechanimaL]

Inwieweit ist das 40 gb modell besser als das 4 gb modell für mein vorhaben?

Wenn Du das ganze lokal betreibst, musst Du halt schauen, dass das Model von Deinem System geladen werden kann und da spielt der VRAM, also der Arbeitsspeicher Deiner Grafikkarte, eine Rolle.

Desweiteren die Frage, ob Du direkt alles in Deutsch machen willst oder es ok ist ein Englisch zu arbeiten und später zu übersetzen.

Und dann wäre wahrscheinlich ein Model ratsam, dass eine höhere Kontext-Länge erlaubt, wenn es um längere Zusammenhänge geht. (ggf muss im GUI die zu verwendende Kontextlänge auch eingestellt werden).

https://llm.extractum.io/ da kannst Du dir z.B. einen Überblick über Models, ihre Qualitäten, VRAM Vorausetzungen und maximale Kontextlänge verschaffen.

Ich selbst habe seit längerem nichts gemacht in dem Bereich und lediglich chatGPT benutzt (für rein praktische Hilfen, nichts kreatives), kann Dir jetzt also auch keine aktuellen Tipps geben, @madmax2010 hat ja eines vorgeschlagen. Kannst ja mal berichten, was wie gut funktioniert.

PS: Hier sind ein paar ebenfalls ein paar interessante Models versammelt ,wenn's um Storytelling geht. Wenn Du unzensierte Chats haben möchtest, dann achte bei den Models generell auf "uncensored" oder "abliterated" im Titel (idR).

 

[samuelclemens]

IIch quäle mich gerade durch einige Modelle der q3b

Die dickeren Modele ab 17 gb aufwärts bekommt man nur unter Schwierigkeiten zum laufen und laufen auch nur sehr träge. Ein kreatives Arbeiten damit so gut wie unmöglich. Der Energieverbrauch steigt dabei untragbar an. Man kann das dann zb nicht einfach über Nacht laufen lassen wenn die cpu/gpu für eine Normseite 5h auf fast 40% ansteigt.

Zudem lässt Wissensstand und Logik extrem zu wünschen übrig.
Alles was über sehr allgemeine, kurze Prosa geht praktisch kaum machbar.
Außerdem hat man oft das Gefühl mit einem Politiker zu reden der einfach nur was daherplappert um was zu sagen ohne die Aufgabe je erfüllen zu können.

Mal vom technischen Standpunkt aus gesehen litten allerdings sämtliche anderen Modelle ebenfalls an diesen Dingen, weshalb ich langsam zur Erkenntniss komme das man im kreativen Bereich um die offiziellen online Modelle wohl kaum herum kommt.
Jedenfalls wenn man das mit zb chatgpt.com vergleicht mit "Creative Writing"
Probiert zb mal nur zum Spaß so ein promt:
"Schreibe mir Harry Potter erste Szene so als hätte sie Shakespear selbst geschrieben."
Ich poste das ergbniss hier mal nicht weil ich nicht weiss ob das hier erlaubt ist. 😉

Ich werde natürlich weiter testen. Vielleicht mit mehr spezialisierten Modellen oder selbst welche auf meine Bedürfnisse (veruchen)trainieren.
Und die modelle machen ja auch rasante fortschritte.
Aber ich denke die steigenden Erfordernisse machen reine offline modelle eher unatraktiv und müssen in zukunft eher auf anmietbarer externer Hardware laufen die darauf spezialisiert ist.

 

[MechanimaL]

Was für eine Hardware hast Du denn? Btw. wenn man den Kontext erhöht, erhöht sich auch der VRAM Bedarf, das hatte ich auch nicht auf dem Schirm. Sobald Sachen ausgelagert werden müssen, wird es langsam.

 

[samuelclemens]

Prozessor: AMD Ryzen 5 1600X Six-Core Processor, 3600 MHz, 6 Kern(e), 12 logische(r) Prozessor(en)
Board: X370 KRAIT GAMING (MS-7A33)
GraKa: Nvidia GeForce GTX 1060 6GB
Ram 32 GB DDR4 (welcher genau weiss ich auf Anhieb jetzt nicht)

Das dürften die relevanten Informationen sein.

Ich lasse die Modelle immer testweise über cpu und gpu laufen. Letzteres bringt manchmal signifikante und manchmal kaum spürbare Verbesserung.

Was meinst du mit "Kontext erhöht"?

 

[MechanimaL]

Mh ok , ja schade, mit der Hardware bist Du leider, was lokale Anwendungen angeht, etwas eingeschränkt.
Falls Du noch was probieren möchtest, würde ich aus dieser Liste https://llm.extractum.io/list/?8GB Modelle mit unter 6GB auswählen. Kontextlänge ist in der Tabelle aufgelistet (was das Modell beherrscht). Standardmäßig ist 2048 in gpt4all eingestellt. Wenn das Modell mehr kann, kann der Wert erhöht werden (aber verbraucht auch VRAM). Dann kann es aber einen größeren Kontext aus dem Chat /Text, den Du schickst überschauen, soweit ich weiß.

 

[Sauron04]

Vielen Dank für das Thema. Ich suche auch sowas und hoffe jemand weiß vielleicht ein passendes Model. Im Prinzip will ich mit dem Programm ein RPG im Wechsel schreiben, also ich bin Person 1 und das Model Person 2. Dann gebe ich vor, was Person eins macht und das Model soll reagieren und agieren. Es soll aber verstehen, dass es eben meine Person nicht spielen darf.

 

[Albert_Wesker]

janitorai.com und alle deine Wünsche sind im wahrsten Sinne des Wortes befriedigt

mit Firefox Erweiterung DeepL! Sehr easy

 

[Sauron04]

@Albert_Wesker Hab ich getestet, aber a schreibt das Programm meist zu wenig und b wiederholt sie sich immer wieder