Multi GPU oder zwei Grafikkarten gleichzeitig?

[samuelclemens]

Es ist mehr eine grundsätzliche Frage ob es möglich ist und ob es überhaupt Sinn machen würde da ich mich mit Grafikkarten kaum auskenne.

Angesichts der etwas hüstel angezogenen Preise in dem Bereich habe ich mich gefragt ob man auch zwei kleinere Grafikkarten auf einmal in einem PC einbauen und Sinnvoll nutzen könnte.
Es geht mir vor allem um offline KI Modelle die damit unterstützt werden sollen und weniger um Spiele. Also vor allem um mehr VRAM.
2x16 GB wäre um einiges günstiger als was neues mit 32 GB denke ich. 🤔
Video Encoding spielt auch ne Rolle. Aber keine übergeordnete.

Und auch um die Frage, wenn überhaupt, man dann zwei identische oder lieber eine fürs Gaming und eine für KI Berechnungen!?Unterschiedliche würden bei einem späteren nachträglichen "Upgrade" mehr Spielraum lassen.
Bisher bin ich fürs Gaming mit meiner alten Möhre der GTX 1060 6GB mehr oder weniger zufrieden und mit "doppelt so gut" wär ich beim nächsten PC auch zufrieden.
Und auch die Möglichkeit die alte GTX weiter zu Verwursten im neuen PC wäre auch ne Option.

Welche Möglichkeiten gäbe es noch für offline KI etwas mehr Hardware unter die Haube zu bringen (oder auch extern!?)

Über allem natürlich ob es grundsätzlich überhaupt technisch und wirtschaftlich Sinnvoll wäre!?
Vor- und Nachteile? Technischer Schwierigkeitsgrad?
Nur ein Gedankenspiel!

Ich spiele auch mit der Idee später mal etwas komplett separates wie nen stromsparenden MiniPC für offline KI als Server immer mitlaufen zu lassen so das man die eigene KI jederzeit auch mobil über einen Browser abfragen kann.
Aber das wäre ein anderes Thema wo dann allerlei andere Fragen auftauchen. Wie zb das der Server dann nur bei Bedarf auch mobil aufgeweckt werden sollte usw...

 

[duAffentier]

Ähm, das war vor 10 Jahren!
EInfach mal belesen: https://www.computerbase.de/artikel/grafikkarten/rangliste.2487/

 

[Ayo34]

Ist eine gängige Praxis mehrere GPUs einzubauen und den VRAM zu addieren. Allerdings weniger im Einstiegsbereich. Auch eine GPU für Gaming und eine GPU für KI macht so gar keinen Sinn oder ich weiß nicht wie du dir das vorstellst.

Erstmal genau festlegen, was du mit KI machen möchtest. Was für Anforderungen hat diese KI? Was für ein Budget hast du? Dann kann man schauen was Sinn macht.

Für den Normal User: 4060 mit 16GB und man kann schon sehr viel machen.
Wenn es etwas mehr sein darf, dann die 4090 oder besser 5090 mit 32GB VRAM.
Und danach kommen dann die Profikarten...

 

[schneup]

ES gbt bei RunAI einen recht ausfuehrlichen Artikel zu diesem Thema. Ob sich der ganze Aufwand lohnt musst Du selber entscheiden (neben passendem MB braucht es auch eine entsprechende PSU).
Je nach Anforderungen verlaesst Du recht schnell den Consumerbereich (HW und aufgerufene Preise).

 

[samuelclemens]

In erster linie interessiere ich mich bei KI um kreatives schreiben als unterstützung. Leider versagen bisher sämtliche offline modelle die ich bisher getestet habe auf ganzer linie. Selbst die demomodelle auf huggingface sie meine hardware nicht im ansatz packt. Jedenfalls im vergleich zu ChatGPT.
Da braucht man von produktivität im offlinebereich gar nicht reden.

Und natürlich sind die anderen Einsatzgebiete wie Bild, Ton und Video KI auch interessant. Aber da seh ich bei begrenztem budget kein land in sicht.

Es geht mehr ums experimentieren mit KI. Grosse budgets sind da nicht drinn.
Die frage war auch nicht wie ich mit viel kohle die beste offline KI hinbekomme sodern ob es sinn machen würde mehrere günstige GPUs zu nehmen statt eine überteuerte und zu 90% überdimensionierte aktuellere Grafikkarte.

Gaming macht bei mir maximal 10% der nutzungszeit aus. Videoencoding vielleicht etwas darunter.

Budget wäre also irgendwo bei 300 € pro Grafikkarte.
Wie gesagt, bisher nur eie spielerei nebenher.

Aber ich seh schon, wenn es sinn machen würde, wäre der markt bei günstigen Grafikkarten ebenfalls schon leergeräumt. 😅

 

[duAffentier]

Für 600€ kann man sich 30 Monate ChatGPT Plus leisten! Mit allem drum und dran!

Offline gibt es nichts, was "unwissende" fix machen können, wo das super 1A mega tolles heraus kommt!

Im Microsoft365 CoPilot Abo ist es in allen MS Apps drin und hilft gut. Und die Daten landen (in der Bussines Version) nicht im Tenet...


Das sagt die KI zu deinen Wunsch:

Mit einem Budget von 1.000 € können Sie ein System zusammenstellen, das grundlegende KI-Funktionen für die Textverarbeitung unterstützt. Allerdings sollten Sie realistische Erwartungen hinsichtlich der Leistung haben, da leistungsstärkere Systeme in der Regel höhere Investitionen erfordern.


Hardware-Empfehlungen:

• Prozessor (CPU): Ein AMD Ryzen 5 5600X oder Intel Core i5-12400 bietet ein gutes Preis-Leistungs-Verhältnis.
• Arbeitsspeicher (RAM): 16 GB DDR4-RAM sind ausreichend für kleinere Modelle; 32 GB wären optimaler.
• Grafikkarte (GPU): Eine NVIDIA GeForce RTX 3060 mit 12 GB VRAM ermöglicht die Ausführung mittelgroßer KI-Modelle.
• Speicher: Eine 512 GB SSD sorgt für schnelle Datenzugriffe.

Software-Optionen:

• LLaMA.cpp: Ein Framework, das die Ausführung verschiedener KI-Modelle auf lokaler Hardware ermöglicht. mind-verse.de
• GPT4All: Eine benutzerfreundliche Anwendung zur lokalen Ausführung von Sprachmodellen, die auch auf älterer Hardware funktioniert. mind-verse.de+1kaspersky.de+1

Hinweise:

• Leistungsfähigkeit: Mit der genannten Hardware können Sie kleinere bis mittelgroße KI-Modelle effizient betreiben. Größere Modelle könnten jedoch die Hardware überlasten und langsamer laufen.
• Anpassung der Modelle: Durch Quantisierung können Modelle verkleinert werden, um weniger Ressourcen zu benötigen. Dies kann die Leistung auf Ihrer Hardware verbessern. kaspersky.de
• Technisches Know-how: Die Einrichtung und Optimierung der Software erfordert technisches Verständnis.

Es ist ratsam, die Anforderungen der gewünschten KI-Modelle sorgfältig zu prüfen und gegebenenfalls mit kleineren Modellen zu beginnen, um die Leistungsfähigkeit Ihres Systems zu evaluieren.

 

[samuelclemens]

@duAffentier Ja, im Bereich kreatives Schreiben würde ich dem zustimmen das man da bis auf weiteres nicht um die richtig fetten online Modell rumkommt.
Aber die kosten sind dennoch nicht tragbar sofern man es nicht gerade kommerziell oder Beruflich verwerten kann oder will.

Textverarbeitung an sich ist ja nicht so das große Problem. Das geht auch mit kleinen Modellen da es mehr um Grammatik, Struktur, Satzbau usw geht.
Aber sobald es ins "kreative" Bereich geht scheint ein möglichst großes "Allgemeinwissen" unabdingbar zu sein. Gerade wenn es um fiktionale Prosa geht wie bei meinen Versuchen.
Wobei "kreativ" hier mit Vorsicht zu genießen ist. Der originelle Input muss immer noch vom Mensch kommen.

Die Zensur ist ein weiteres großes Problem bei den online Modellen gepaart mit einem großen hang zum Gutmenschentum. Meiner Beobachtung zufolge neigt gerade ChatGPT dazu auch immer eine deftige Portion Moralin mit einzubauen.
Aber das ist ein Thema für sich.

Das Problem mit dem Allgemeinwissen lässt sich offline nur lösen wenn man die Modelle spezialisiert und daher nur ein Bruchteil des Wissens benötigen.
Wie es ja bereits gemacht wird.
Leider lässt sich das beim kreativen Schreiben nicht so leicht begrenzen wie zb beim Coden. Es sei denn man würde Modelle schaffen denen man zusätzliche Daten Module anhängen kann je nach bedarf.
Will man zb High Fantasy schreiben braucht man nicht unbedingt was über Automobile, Elektrizität oder die Abläufe bei einem Scharfschützen wissen.
Je nach Genre und Setting lässt sich das benötigte Allgemein- und Fachwissen enger begrenzen.

 

[duAffentier]

600€-1000€ sind viele viele Jahre KI!
Und ein KI, die macht was du willst, kostet mehr! Und das Fachwissen dazu!
Dann nenn doch mal die Anwendungsbeispiele etc., die du brauchst!
Spezifikation schreiben, welche du benötigst.

 

[samuelclemens]

Ich denke der Thread kann hier an dieser stelle zugemacht werden da ersichtlich ist das die Eingangsfrage, wenn auch unbefriedigend, geklärt wurde.
Alles weitere wäre ein neues Thema.
Danke.