Hallo ich nutze seit einiger Zeit Text Generation Web UI und grundsätzlich tut die auch was ich von ihr möchte, aber ich habe einige Fragen und hoffe ihr könnt mir weiterhelfen oder zumindest einen Hinweis geben wo ich gezielter fragen kann. (Ich habe und möchte keinen Github account 
).
1. Gibt es eine Möglichkeit beim Starten automatisch das zuletzt geladene KI Model zu laden? Es gibt die Möglichkeit ein Modell zu laden direkt wenn es im Dropdown ausgewählt ist aber nicht mit Start up der WebUI, soweit ich das sehe.
2. Es gibt die Funktion dass ich die WebUI im Netzwerk freigebe ... da kommt eine Warnmeldung dass damit direkt alles aus dem Internet zugreifbar ist (sein könnte) aber solange ich hinter meinem Router inkl. Firewall bin, kann doch niemand auf mein lokales Netzwerk zugreifen (solange ich nicht gerade eine Portfreigabe o.ä. vornehme), oder?
3. Irgendwie bekomme ich, wenn ich versuche Modelle zu laden oftmals eine Fehlermeldung ich Verwende derzeit z.B. nous-hermes-llama2-13b.Q5_K_M.gguf was erfolgreich lädt und wie gesagt tut was ich möchte. Aber das Modell ist inzwischen verhältnismäßig alt und es gibt neuere Versionen auf Huggingface ... Nur keine von denen lässt sich laden. Ebenso habe ich es noch nicht geschafft, ein einziges Modell zum laufen zu bringen, was meine GPU nutzt. (soweit ich es verstehe laufen .gguf Modelle grundsätzlich auf der CPU)
modelle die ich versucht habe zu laden sind z.B.
NousResearch_Hermes-2-Pro-Llama-3-8B; NousResearch_Hermes-3-Llama-3.1-8B; Hermes-3-Llama-3.1-8B.Q8_0.gguf
da ich ja mit dem Alten Modell des Selben Anbieters recht zufrieden bin.
Kann mir ggf jemand sagen, wo das Problem liegen könnte, dass diese Modelle nicht laden? (Die Fehermeldungen kann ich bei bedarf gerne nachliefern)
4. Hat jemand gute Erfahrungen gemacht mit einem Modell das 1. mit dem Programm (unter Windows) Fehlerfrei lädt und 2. Mit meinem System (5800x 32GB Ram, 3060 12GB) Ordentlich läuft? Ich nehme gerne Empfehlungen an. Ich nutze die KI hauptsächlich als Sparring Partner um private P&P RPG Geschichten zu entwickeln bzw. Charakteren mehr tiefe zu verleihen. Also gute Skills im kreative Geschichten aus Stichpunkten entwickeln wären Top. Coding oder Übersetzung nutze ich eher nicht.
gruß
Pyrukar
).1. Gibt es eine Möglichkeit beim Starten automatisch das zuletzt geladene KI Model zu laden? Es gibt die Möglichkeit ein Modell zu laden direkt wenn es im Dropdown ausgewählt ist aber nicht mit Start up der WebUI, soweit ich das sehe.
2. Es gibt die Funktion dass ich die WebUI im Netzwerk freigebe ... da kommt eine Warnmeldung dass damit direkt alles aus dem Internet zugreifbar ist (sein könnte) aber solange ich hinter meinem Router inkl. Firewall bin, kann doch niemand auf mein lokales Netzwerk zugreifen (solange ich nicht gerade eine Portfreigabe o.ä. vornehme), oder?
3. Irgendwie bekomme ich, wenn ich versuche Modelle zu laden oftmals eine Fehlermeldung ich Verwende derzeit z.B. nous-hermes-llama2-13b.Q5_K_M.gguf was erfolgreich lädt und wie gesagt tut was ich möchte. Aber das Modell ist inzwischen verhältnismäßig alt und es gibt neuere Versionen auf Huggingface ... Nur keine von denen lässt sich laden. Ebenso habe ich es noch nicht geschafft, ein einziges Modell zum laufen zu bringen, was meine GPU nutzt. (soweit ich es verstehe laufen .gguf Modelle grundsätzlich auf der CPU)
modelle die ich versucht habe zu laden sind z.B.
NousResearch_Hermes-2-Pro-Llama-3-8B; NousResearch_Hermes-3-Llama-3.1-8B; Hermes-3-Llama-3.1-8B.Q8_0.gguf
da ich ja mit dem Alten Modell des Selben Anbieters recht zufrieden bin.
Kann mir ggf jemand sagen, wo das Problem liegen könnte, dass diese Modelle nicht laden? (Die Fehermeldungen kann ich bei bedarf gerne nachliefern)
4. Hat jemand gute Erfahrungen gemacht mit einem Modell das 1. mit dem Programm (unter Windows) Fehlerfrei lädt und 2. Mit meinem System (5800x 32GB Ram, 3060 12GB) Ordentlich läuft? Ich nehme gerne Empfehlungen an. Ich nutze die KI hauptsächlich als Sparring Partner um private P&P RPG Geschichten zu entwickeln bzw. Charakteren mehr tiefe zu verleihen. Also gute Skills im kreative Geschichten aus Stichpunkten entwickeln wären Top. Coding oder Übersetzung nutze ich eher nicht.
gruß
Pyrukar
