RTX A2000 im Rechner mit 300 Watt Netzteil?

[oicfar]

[Bitte fülle den folgenden Fragebogen unbedingt vollständig aus, damit andere Nutzer dir effizient helfen können. Danke! ]

Frage in die Runde und bitte nicht andere Grafikkarten empfehlen.

Es kann sein, dass ich eine gebrauchte RTX A2000 12 GB (https://geizhals.de/pny-rtx-a2000-vcnrtxa2000-12gb-sb-a2674330.html) günstiger bekommen könnte. Hoffe ich zumindest. Und da ich mich ein wenig mit KI beschäftigen wollte, würde ich gerne wissen, ob diese Karte in meinem bestehenden System (sehe unten) bei 70 Watt unter Last soweit keine Probleme machen würde.

Meine 5700G APU kann nur PCIe 3.0 und die Karte ist 16x PCI Express Gen 4.. D.h. die Karte würde nur mit PCIe 3.0 in einem PCIe 4.0 Slot laufen. Sollte kein Problem sein. Oder?

Ich will wg. PCIe 4.0 jetzt nicht die CPU, den Kühler und das Netzteil austauschen. Wenn ich feststelle, dass ich tiefer in KI einsteigen will, dann würde ich ein neues System zusammenbauen.

D.h. ich will die Bildausgabe weiterhin über die APU laufen lassen. Die Karte soll nur eingebaut werden und wenn ich mich mit KI (LLMs. vielleicht Stable Diffusion) beschäftige, von den Anwendungen genutzt werden.

1. Wie viel Geld bist du bereit auszugeben?
Wenig. D.h. es kann sein, dass ich die RTX A2000 gebraucht günstig abkaufen kann.

2. Möchtest du mit der Grafikkarte spielen?
Keine Spiele.

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Einstieg in KI.

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
Keine. Die Karte soll nur für Berechnungen/KI verwendet werden.

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• Prozessor (CPU): AMD Ryzen 7 5700G
• Aktuelle/Bisherige Grafikkarte (GPU): keine
• Netzteil(Genaue Bezeichnung): be quiet! BN290 Pure Power 11 300W Netzteil ATX Schwarz
• Gehäuse: Fractal Design Core 2300 FD-CA-CORE-2300-BL
• Mainboard: ASUS TUF Gaming B550M-Plus Gaming Mainboard Sockel AM4

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)
Nein.

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Zeitnah.

 

[sloven]

Warum nicht? Die Karte verbraucht maximal 70 Watt, der Prozessor 75 Watt, für den Rest die restlichen 50, dann bleiben noch 100 Watt übrig, die das Netzteil liefern könnte.

 

[djducky]

Ich denke nicht, dass du von der Stromversorgung da probleme bekommst.

PCIe 3.0 ist auch kein Problem bei einer 16x angebundenen Karte. Eine 4060 mit 8x würde da um die ~12% verlieren.

 

[oicfar]

Warum nicht? Die Karte verbraucht maximal 70 Watt, der Prozessor 75 Watt, für den Rest die restlichen 50, dann bleiben noch 100 Watt übrig, die das Netzteil liefern könnte.

Die CPU kann unter 100% schon 140 Watt nehmen. Ich weiß nicht, ob es Fälle gibt, wo die CPU und die Karte dann unter 100% last wäre.

 

[djducky]

@oicfar
Nein, kann er nicht. Der 5700G ist auf 88W gedeckelt. 142W Maximum wären es z.B. beim 5800X.

 

[oicfar]

@djducky stimmt.

 

[Maviba]

Wenig. D.h. es kann sein, dass ich die RTX A2000 gebraucht günstig abkaufen kann.

Wie günstig?
Für das gleiche Geld bekämst du vermutlich auch eine 3060 + neues Netzteil.

Denk dran, das Du auch ordentlich RAM brauchst (min. 32 GB, besser 64), und das du mit der Karte auf kleine und mittlere Modelle beschränkt bist.

 

[tomgit]

Für die meisten LLMs brauchst eigentlich eh keine GPU für Inferenz, das läuft auf der CPU gut genug - und bei LLMs, wo du von GPGPU massiv profitieren würdest, wärst du ohnehin an VRAM Grenzen.

Einzig Stable Diffusion wäre ein Argument, aber hier ist die Frage, was du da machen möchtest. Bei 512x512 dauert es schon einige Sekunden um ein Bild zu generieren, bei höherer Auflösung kann es sich entsprechend auch weiter strecken.

Für nur mal Testen gibt es auch einige Tools im Netz, wo man auf verschiedene Cloud-Lösungen kostenfrei zurückgreifen kann

 

[oicfar]

Wie günstig?

Ich bin im Moment noch nicht sicher, ob es die A2000 12GB (https://geizhals.de/pny-rtx-a2000-vcnrtxa2000-12gb-pb-a2674329.html) oder die A2000 16GB (https://geizhals.de/pny-rtx-2000-ada-generation-vcnrtx2000ada-sb-a3137373.html) ist. Beide sind 70 Watt.

Ich werde es noch erfahren und dann verhandeln.

Für das gleiche Geld bekämst du vermutlich auch eine 3060 + neues Netzteil.

Hatte auch an GeForce RTX 4070 Ti SUPER 16G oder GeForce RTX 4080 SUPER gedacht.

Denk dran, das Du auch ordentlich RAM brauchst (min. 32 GB, besser 64), und das du mit der Karte auf kleine und mittlere Modelle beschränkt bist.

Mein PC hat 64GB.

Mein "Wunsch" wäre eine 4090. Aber im Moment tut sich so viel. Es kommen (verspätet) neue Grafikkarten. Bei den LLMs & Co. tut sich auch sehr viel. D.h. es wird sich noch viel ändern.

Für die meisten LLMs brauchst eigentlich eh keine GPU für Inferenz, das läuft auf der CPU gut genug - und bei LLMs, wo du von GPGPU massiv profitieren würdest, wärst du ohnehin an VRAM Grenzen.

Ich habe schon mit meiner APU mit Stable Diffusion und GPT4All einiges ausprobiert. Aber es ist lahm. Teilweise sehr lahm.

Wenn ich in GPT4All was ausprobiere, dann sieht es so

aus. Und es dauert ein wenig bis was mit 1,9 Tokens/s kommt.

Einzig Stable Diffusion wäre ein Argument, aber hier ist die Frage, was du da machen möchtest. Bei 512x512 dauert es schon einige Sekunden um ein Bild zu generieren, bei höherer Auflösung kann es sich entsprechend auch weiter strecken.

Mit meiner APU dauert es schon zwischen 20 bis 90 Minuten.

Für nur mal Testen gibt es auch einige Tools im Netz, wo man auf verschiedene Cloud-Lösungen kostenfrei zurückgreifen kann

Ich weiß.

 

[Garmor]

GPT4All

Probier auch mal alternativ LM Studio. Gerade Llama 3.1 war bei mir in GPT4all sehr langsam und hat die AMD-Grafikkarte nicht erkannt,

 

[Chocobo]

Dürfte passen von den Specs her mit dem NT.

Ich würde aber nicht mehr als 250€ hinlegen für die Karte.
Sonst eben eine 3060, aber Ich finde die A2000 schon geil, alleine wegen dem Formfaktor und der Tatsache, dass die kein externes Powerkabel benötigt.

Übertakten kann man die auch gut, vClock sind locker 250 Mhz, Ram sogar 500+ Mhz drin.
Wird aber etwas warm unter Last, gute Airflow ist von Vorteil.

 

[Zwirbelkatz]

be quiet! BN290 Pure Power 11 300W Netzteil ATX Schwarz

Klar - einfach ausprobieren. Zusätzlich kann und sollte man sich in Undervolting der GPU einlesen.

Meine 5700G APU kann nur PCIe 3.0 und die Karte ist 16x PCI Express Gen 4.. D.h. die Karte würde nur mit PCIe 3.0 in einem PCIe 4.0 Slot laufen. Sollte kein Problem sein. Oder?

Ich weiß, dir geht es nicht um Spiele. In Spielen ist es dann ein kleineres bis mittleres Problem, wenn der Grafikspeicher voll ist und ab dann Daten über diesen Flaschenhals ausgelagert werden müssen.

Wie es bei KI ist? Gute Frage!

Nebengedanke:
Die nun, davon gehe ich aus, nicht mehr benötigte APU verkaufen und stattdessen einen 5700x (oder größer) einsetzen. Ggf. auf den maximalen Verbrauch achten, was Kühlung und Netzteil anbelangt.

Ein PCIe-4.0-fähiges Mainboard hast du laut Signatur schließlich.

 

[maxi_rodriges]

Was habt ihr mit diesem Flaschenhals"wenn der Speicher voll ist"?!
Wenn der Speicher voll ist, dann ruckelt es, egal ob es PCiE 3.0 oder PCiE 4.0 ist

 

[tomgit]

Und es dauert ein wenig bis was mit 1,9 Tokens/s kommt.

Mit meiner APU dauert es schon zwischen 20 bis 90 Minuten.

Und welches Modell und welche Parameter?
Wenn du versuchst, das 70b Modell laufen zu lassen - ja, das dauert, aber das wird auch bei der GPU wohl kaum instantan laufen - insbesondere, wenn du an Speicherlimits kommst und das Modell entweder teilweise oder komplett im RAM statt VRAM landet.
Versuch es mal mit dem bb-Modell, wie es da ausschaut.
Oder mit Qwen 2.5.

Und wenn du kein lexikalisches Wissen benötigst, kannst du auch recht gut mit Phi3 testen, das ohnehin eher in Richtung SLM geht. Frage ist immer der Usecase.

 

[oicfar]

Sonst eben eine 3060, aber Ich finde die A2000 schon geil, alleine wegen dem Formfaktor und der Tatsache, dass die kein externes Powerkabel benötigt.

Meine Idee wäre es später in einen Mini-Server zu verfrachten.

Übertakten kann man die auch gut, vClock sind locker 250 Mhz, Ram sogar 500+ Mhz drin.
Wird aber etwas warm unter Last, gute Airflow ist von Vorteil.

Danke für die Info. Sollte ich die Karte haben, kann man es versuchen.

Wie es bei KI ist? Gute Frage!

Das würde ich sehen.

Nebengedanke:
Die nun, davon gehe ich aus, nicht mehr benötigte APU verkaufen und stattdessen einen 5700x (oder größer) einsetzen. Ggf. auf den maximalen Verbrauch achten, was Kühlung und Netzteil anbelangt.

Ein PCIe-4.0-fähiges Mainboard hast du laut Signatur schließlich.

Ich hatte mir schon ein AM5/AM6 Setup zusammengestellt. Bei dem AM4 System wollte ich an sich nix austauschen, da das gut läuft und auch Energieschonend ist.

Ich warte noch die die Tage ab, was mich die Karte kosten würde und dann schaue ich.

Ergänzung (22. September 2024)

Und welches Modell und welche Parameter?

Beispiel: https://huggingface.co/TheBloke/Phind-CodeLlama-34B-v2-GGUF

Für mich ging es bisher darum zu schauen, was man mit einer CPU alles Richtung KI machen kann und was es für die Performance bedeutet.

Wenn du versuchst, das 70b Modell laufen zu lassen - ja, das dauert, aber das wird auch bei der GPU wohl kaum instantan

Kein 70b.

laufen - insbesondere, wenn du an Speicherlimits kommst und das Modell entweder teilweise oder komplett im RAM statt VRAM landet.
Versuch es mal mit dem bb-Modell, wie es da ausschaut.
Oder mit Qwen 2.5.

Danke für die Infos.

Und wenn du kein lexikalisches Wissen benötigst, kannst du auch recht gut mit Phi3 testen, das ohnehin eher in Richtung SLM geht. Frage ist immer der Usecase.

Genau. Deswegen ausprobieren, lernen, Wissen aufbauen und dann wird's konkreter.

 

[tomgit]

Beispiel: https://huggingface.co/TheBloke/Phind-CodeLlama-34B-v2-GGUF
[...]
Kein 70b.

Es sind trotzdem 34 Milliarden Parameter, allein von der Modellgröße sollte man sehen, dass die Anforderungen entsprechend hoch sein werden - und dann kommt es auch auf die Genauigkeit an.
Codellama hat auch ein 7b Modell, das deutlich angenehmer zum RAM ist: https://huggingface.co/TheBloke/CodeLlama-7B-Instruct-GGUF

Zum Experimentieren gehört idR auch einlesen dazu - und bei lokalen LLMs mangelt es gerade wirklich nicht an Blogs, Videos und Reddit-Threads, welche es genauer beschreiben. U.A. auf Huggingface selbst.

 

[oicfar]

Zum Experimentieren gehört idR auch einlesen dazu - und bei lokalen LLMs mangelt es gerade wirklich nicht an Blogs, Videos und Reddit-Threads, welche es genauer beschreiben. U.A. auf Huggingface selbst.

Genau. Der Thread wurde ja wg. der GraKa angelegt und nicht wg. AI Grundlagen.

Danke für den Feedback.

 

[tomgit]

Der Thread wurde ja wg. der GraKa angelegt und nicht wg. AI Grundlagen

Okay, und was für eine Aussage willst du? Kauf sie? Du willst ja offenbar auch keine andere Graka-Empfehlung haben. Und ob diese für den Usecase passt - oder der Usecase angepasst werden muss - ist dir ja auch egal.
Also hättest es dir auch ersparen können, den Thread zu öffnen.

 

[oicfar]

Okay, und was für eine Aussage willst du? Kauf sie? Du willst ja offenbar auch keine andere Graka-Empfehlung haben. Und

Wollte sichergehen, dass das bei meinem Setup mit dem Netzteil läuft.

Wenn du gerne eine GraKa-Empfehlung loswerden möchtest, dann schaue ich mir die auch an. Ich habe schon mit dem Gedanken gespielt:

• mehr RAM.
• CPU (es kommt schon häufiger vor, dass 12c/24t (5900X) oder 16c/32t (5950X) gut wären -> nicht wg. KI) +Kühler und
• Netzteil zu tauschen und
• dann eine 4070/4080 zu kaufen.

Das wäre ~600€ + GraKa.

Aber in dem Fall sage ich mir: Lieber ein ganz neues System (AM5 oder AM6).

ob diese für den Usecase passt - oder der Usecase angepasst werden muss - ist dir ja auch egal.

Für KI Themen ist ja https://www.computerbase.de/forum/forums/ki-sprachmodelle-und-maschinelles-lernen.270/ da.

Ich habe aktuell noch keine speziellen Usecases, die ich genau verfolge. Schauen, was sich tut, ausprobieren, lernen.

Also hättest es dir auch ersparen können, den Thread zu öffnen.

Sehe ich nicht so.

 

[Zwirbelkatz]

Wenn du gerne eine GraKa-Empfehlung loswerden möchtest, dann schaue ich mir die auch an.

Hatte ich persönlich mir verkniffen. Da eingangs stand, es seien keine anderen Vorschläge erwünscht. Es wäre ohnehin ein mutmaßliches Negativbeispiel gewesen. Nämlich die vergleichsweise teure RTX 4060 Ti 16GB, welche auch nur vielleicht mit dem amtierenden Netzteil würde betrieben werden können.

Was habt ihr mit diesem Flaschenhals"wenn der Speicher voll ist"?!

Nach dem Grafikspeicher wird auf den Ram ausgelagert. Und dies über eine beschnittene Bandbreite.

Und einige Engines mogeln bereits vorher rum und schlucken Texturen, eben genau damit die Illusion eines flüssigen und dabei verlustfreien Bildes aufrechterhalten wird.

(Diskussion an dem Punkt für mich beendet, da sie fürs Thema nicht so relevant ist)