Für den Privatgebrauch wäre ich noch bereit, ein paar Euronen mehr zu bezahlen. Über 40€ bin ich dann aber nicht mehr bereit zu bezahlen. Da wechsle ich dann lieber zur Konkurrenz oder investiere ~1000€ in eine Radeon 7900XTX oder vergleichbares mit 24GB+ Vram und lasse da gleich eine lokale LLM laufen.
Bei 44€ im Monat (528€/Jahr) hat man die schnell wieder raus.
Ich hoffe aber mal das sich der Preis durch die ganzen lokalen/Open Source LLMs eher wieder nach unten bewegen wird.
Was die Empfehlung für das richtige LLM angeht, wird es schon schwieriger. Auch hier hilft im übrigen chatgpt weiter. Weil ich vor ein paar Tagen selbst genau das selbe erfragt habe, habe ich chatgpt mal gefragt, was er für 16 GB Vram empfiehlt (ohne den Fokus auf Programmierung zu berücksichtigen). Das war (gekürzt) die Antwort:
Bei 44€ im Monat (528€/Jahr) hat man die schnell wieder raus.
Wegen 2 Euro wechselt man auch nicht. Wenn es aber stimmt das ein Plus Abo bald 44€ kosten soll, dann dürften sich in Zukunft wohl mehr private Nutzer umorientieren. Im unternehmerischen Umfeld ist das natürlich was anderes.Ayo34 schrieb:Naja, wenn man sich an ein Produkt gewöhnt hat, dann wechseln viele nicht wegen 2€ weniger und probieren etwas anderes aus. In Firmen dauert der Prozess noch viel länger.
Ich hoffe aber mal das sich der Preis durch die ganzen lokalen/Open Source LLMs eher wieder nach unten bewegen wird.
LM Studio geht auch, ich nutze aber auch ganz gerne Open WebUI. Das hat ähnliche Features wie die UI von ChatGPT. Schau dir auch mal Pinokio an. Damit lassen sich eine menge verschiedener AI Projekte auf dem rechner quasi sofort gebrauchsfertig installieren.dernettehans schrieb:Kannst du mal einige empfehlen, nutzt du LM Studio? Kannst du da welche für Programming empfehlen die auch mit 16GB VRAM laufen?
Was die Empfehlung für das richtige LLM angeht, wird es schon schwieriger. Auch hier hilft im übrigen chatgpt weiter. Weil ich vor ein paar Tagen selbst genau das selbe erfragt habe, habe ich chatgpt mal gefragt, was er für 16 GB Vram empfiehlt (ohne den Fokus auf Programmierung zu berücksichtigen). Das war (gekürzt) die Antwort:
Vergleich der Modelle für komplexe Prompts (angepasst an 16 GB VRAM):
Modell VRAM-Anforderung (GB) Geeignet für komplexe Prompts Stärken Schwächen Falcon 2 (11B) ~13-14 GB Sehr gut Strukturierte Prompts, Mehrschritt-Aufgaben, detailliert Bei sehr technisch komplexen Prompts langsamer LLaMA 3.2 (7B) ~10-11 GB Gut Geeignet für mittlere bis komplexe Prompts Begrenzte Tiefe im Vergleich zu größeren Modellen Mistral 7B ~8-10 GB Gut Schnell, effizient bei mittleren bis komplexen Prompts Nicht ideal für stark verschachtelte Anweisungen Qwen 2.5 (7B) ~8-10 GB Gut Balance zwischen Tiefe und Geschwindigkeit Nicht so tiefgehend wie die 14B-Version Fazit:
- Falcon 2 (11B) ist die beste Wahl für die Erstellung von komplexen Prompts, die tiefgehende und strukturierte Anweisungen erfordern. Es nutzt den Großteil des 16 GB VRAM aus, bleibt aber innerhalb der Leistungsgrenzen.
- LLaMA 3.2 (7B) und Mistral 7B sind effizientere Optionen, die weniger VRAM benötigen und eine gute Leistung für mittelschwere bis komplexe Prompts bieten.
- Qwen 2.5 (7B) bietet eine gute Balance zwischen Tiefe und Effizienz und ist für 16 GB VRAM gut geeignet.
- Qwen 2.5 (14B) sollte vermieden werden, da es die VRAM-Grenzen überschreitet und dadurch die Leistung beeinträchtigt oder das Modell nicht vollständig geladen werden kann.
Empfehlung:
- Falcon 2 (11B) ist die beste Wahl für tiefgehende, verschachtelte Prompts, wenn du die maximal mögliche Leistung aus deinen 16 GB VRAM herausholen möchtest.
- Mistral 7B und Qwen 2.5 (7B) sind gute Alternativen, wenn du mehr Effizienz und schnellere Antwortzeiten bei moderaten Aufgaben bevorzugst.