PNY NVIDIA RTX 4000 (SFF) Ada Gen

[oicfar]

Hi in die Runde,

wollte hier mal die Frage stellen, ob jemand von euch

• PNY NVIDIA RTX 4000 Ada Gen (70 Watt, ab 1440€) oder
• PNY NVIDIA RTX 4000 SFF Ada Gen (130 Watt, ab 1530€)

bei sich im Einsatz hat und ein wenig berichten kann, ob die Anschaffung sinnvoll wäre, wenn man mit der Karte Richtung: Stable Diffusion, LLMs (ausprobieren, lernen, verwenden, ... -> halt Spielwiese zum Lernen und Ausprobieren), ... was machen möchte.

Ich spiele schon ein wenig mit SD und LLMs. Mache es aber vorwiegend mit der CPU (dauert ein wenig, aber zum Reinschnuppern reichte es bisher), da mein "neuer" PC aus 2022 eine APU hat. In den Rechner will ich keine GraKa einbauen, da ich sowohl die CPU als auch das Netzteil tauschen müsste. Dieses System läuft aber soweit und verbraucht für die Sachen, die ich damit mache, auch wenig Energie. Deswegen wg. KI soll was neues her.

Zu den RTX 4000 fand ich nicht so viele Informationen. Es gibt Reviews.

RTX 4000 SFF Ada vs. Gigabyte 4060 LP OC - SFF Showdown!

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

TINY 70 watt RTX 4000 SFF ADA Generation GPU For AI, Docker, Plex, Jellyfin, and MORE!

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Meine Idee wäre ein kleiner Server, der nicht 24/7 laufen würde, wo ich diverse KI Tools laufen lassen würde. D.h. die Karte müsste nicht an ein Bildschirm angeschlossen sein. Vielleicht später mal auch über Tage laufen lassen, wenn Bedarf da ist. Dann ist schon die 70 Watt Variante interessant.

Andere Optionen wären:

• 4090 mit 24GB VRAM
• 3090 Ti mit 24GB VRAM
• 40{6|7|8}0 mit 16GB VRAM

Insgesamt bin ich mit den Preisen nicht so zufrieden. Kann man nicht ändern. Aktuell rechne ich mit 1500+/- EUR für die Grafikkarte. Hinzu kommt noch der Rest.

 

[BDR529]

Also was die Leistungseffizienz angeht, ist die RTX 4000 Ada "SFF" sehr gut. Da würde ich auch nicht auf die RTX 4000 Ada "non-SFF" gehen, da die Rechenleistung unerheblich besser ist - der Stromverbrauch jedoch deutlich höher. Zumindest, wenn man es in ein prozentuales Verhältnis setzt. Am Ende relativiert sich das zwar wieder etwas, da nicht nur die GPU läuft, sondern ja der ganze Rechner mitsamt seiner anderen Komponenten. Dennoch würde ich hier eher zur RTX 4000 Ada SFF greifen, wenn du Leistungseffizienz und "großen" VRAM mit ECC brauchst.

Ansonsten würde ich zur RTX 4090 greifen. Weil die hat Leistung satt, und auch wenn man es zunächst aufgrund der TDP nicht glauben möchte - eine sehr gute Leistungseffizienz, also einen relativ geringen Stromverbrauch (gemessen an der Rechenleistung). Der absolute Stromverbrauch ist natürlich ein ganz anderes Niveau als die RTX 4000 Ada/SFF, und wenn du Wert auf ein leises und leistungseffizientes System legst, das vor allem auch nicht zur Heizung wird, dann nimm - wie gesagt - die RTX 4000 Ada/SFF.

 

[Chocobo]

Kann mich meinem Vorposter anschließen und folgendes hinzufügen :
P/L technisch sind die Consumer Karten bei der Rohleistung klar im Vorteil.

Die RTX A Serie hat ihren Aufpreis, da sie für intensive Workloads und Dauerlast ausgelegt sind, heist die haben z.B. andere Thermische Limits.
Wo bei normalen RTX bei 90° Celsius bereits gedrosselt wird, machen die RTX A Karten (zumindest in meinem Fall sogar bis zu 105°C mit im Extremfall.
Sie sind um einiges leiser, auch wenn man das bei einem Single-Blower Design zuerst mal nicht glauben mag, und haben verglichen mit Consumer Karten die auf den gleichen Chip setzen, mehr Cuda Cores.

Summasumarum nivelliert sich somit der Anschaffungspreis mit den Unterhaltskosten je intensiver die Karte genutzt wird.
Nicht zu vergessen, dass die RTX A Karten SFF tauglich sind, was bei einer RTX 4090 wohl kaum der Fall sein dürfte.
Hinzu kommt, das RTX A Karten ECC fähig sind, was gerade für Server Anwendungen und Redundanz nützlich sein könnte.

Ich würde mich nach einem Gebrauchtmodell umschauen, so habe Ich es gehandhabt und mich im Verlauf gegen die RTX 3060TI 12 GB und für die RTX A 2000 12 GB entschieden (250€ gebraucht, vs, 600 + € Neupreis)

 

[oicfar]

@BDR529 @Chocobo danke euch für die Infos.

Meine Idee wäre ein Setup mit AMD Ryzen 7000er CPU. Vielleicht was Richtung AMD Ryzen™ 9 7900. Da kann man ECC RAM nehmen.

Hinzu kommt, das RTX A Karten ECC fähig sind, was gerade für Server Anwendungen und Redundanz nützlich sein könnte.

Wie meinst du das genau? Dass es z.B. Nvidia RTX A5000 Grafikkarte mit 24 GB GDDR6 ECC gibt?

 

[Chocobo]

Genau das meine Ich.

 

[Maviba]

halt Spielwiese zum Lernen und Ausprobieren

Das wäre aber eine ganz schön teure Spielwiese, wenn du nur ein wenig herumprobieren möchtest.
Meinst Du nicht, die wäre dafür etwas over?

Was genau hast denn mit dem Server vor? Ist der nur für Dich privat zuhause, zum herumspielen, oder hast du später vor, den irgendwie kommerziell oder beruflich zu benutzen?
Das wäre IMHO neben dem Verbrauch fast der einzige Grund, der hier eine Quadro rechtfertigen würde.

Andere Optionen wären:

• 4090 mit 24GB VRAM
• 3090 Ti mit 24GB VRAM
• 40{6|7|8}0 mit 16GB VRAM

Von der 3090 würde ich die finger lassen. Die frisst Dir nur die Haare vom kopf.
Immer noch teuer in der Anschaffung, und hat einen Stromverbrauch jenseits von gut und böse.
Für das Geld bekommst du schon fast eine 4090. Die verbraucht dann zwar genau so viel, ist dabei aber wesentlich effizienter

Eine 4070 Ti Super wäre für den Anfang schon völlig ausreichend und verbraucht dabei 1/3 weniger strom. Vllt noch eine 4080.

 

[oicfar]

Das wäre aber eine ganz schön teure Spielwiese, wenn du nur ein wenig herumprobieren möchtest.

Wie wenig oder viel es wird, weiß ich aktuell noch nicht. Z.Z lese ich mich ein wenig ein.

Meinst Du nicht, die wäre dafür etwas over?

Es soll Personen geben, die "viel" Geld für Hardware ausgeben, die vorwiegend zum Zocken eingesetzt wird. In meinem Fall würde ich dabei auch was lernen.

Was genau hast denn mit dem Server vor? Ist der nur für Dich privat zuhause, zum herumspielen, oder hast du später vor, den irgendwie kommerziell oder beruflich zu benutzen?

Nur privat. Ob ich das erworbene Wissen früher oder später in irgendeiner Form im beruflichen Umfeld einsetzen könnte, kann ich aktuell nicht sagen.

Für das Geld bekommst du schon fast eine 4090. Die verbraucht dann zwar genau so viel, ist dabei aber wesentlich effizienter

Ja, 4090 habe ich auch auf dem Schirm.

Eine 4070 Ti Super wäre für den Anfang schon völlig ausreichend und verbraucht dabei 1/3 weniger strom. Vllt noch eine 4080.

Am Ende des Tages ist VRAM relevant. Der Preis und auch der Energieverbrauch sollte im Rahmen bleiben.

 

[Maviba]

Hmm. Gut, so gesehen ist eine 4000 SFF nicht ganz sinnfrei.

Ich weiß ja nicht wie weit Du schon in der Materie bist.
Aber eine 4000 SFF ist schon eine sehr spezialisierte heavy-load-Karte, die man sich erst dann holt, wenn sie tagelang rechnen muß, ohne dabei an Zuverlässigkeit einzubüßen.

Wenn Du aber erst mal nur etwas reinschnuppern und herumspielen willst, würde ich deswegen unbedingt eher zu Consumer Karten wie die 4070 TiS oder 4080 greifen. Die 16GB sind für den Anfang völlig ausreichend.

Solltest Du nämlich bei der Quadro irgendwann feststellen, das KI vllt doch nicht so ganz Dein Ding ist, hast Du halt 1500,- € für eine Karte ausgegeben, mit der Du nicht mehr viel anfangen kannst - es sei denn, Du entdeckst noch schnell Deine Liebe zu CAD, 3D-Animationen oder wissenschaftlichen Simulationen.

Consumerkarten wie die 4070 oder 4080 könntest du wenigstens noch anderweitig benutzen (z.B: fürs gaming), oder zu einem guten Preis weiterverkaufen. Eine Quadro nicht.

Das sind meine Bedenken bzgl der 4000 SFF in Deinem Fall.

 

[oicfar]

Ich weiß ja nicht wie weit Du schon in der Materie bist.

Ich hab's angefangen.

Aber eine 4000 SFF ist schon eine sehr spezialisierte heavy-load-Karte, die man sich erst dann holt, wenn sie tagelang rechnen muß, ohne dabei an Zuverlässigkeit einzubüßen.

In meinem Fall könnte es schon sein, dass die dann mehrere Stunden am Stück laufen würde. Ob Tage ... eher unwahrscheinlich.

Vorteil ist ja noch, dass man die Pro Treiber hat.

Wenn Du aber erst mal nur etwas reinschnuppern und herumspielen willst, würde ich deswegen unbedingt eher zu Consumer Karten wie die 4070 TiS oder 4080 greifen. Die 16GB sind für den Anfang völlig ausreichend.

Das geht mir auch durch den Kopf.

Das sind meine Bedenken bzgl der 4000 SFF in Deinem Fall.

Danke für's Feedback.

Ab Oktober werde ich vielleicht die Möglichkeit haben ein wenig mit der NVidia A40 rumzuspielen. Dann kann man sich kleine vgpu's erstellen und schauen wg. dem Verhalten mit weniger VRAM.

 

[oicfar]

Ein kleines Update hier in die Runde.

Ich habe mir vor paar Wochen NVIDIA GeForce RTX 4060 Ti 16GB gekauft. Läuft ohne Probleme in meinem PC mit einem 300 Watt Netzteil.

Habe damit auch Ollama im Einsatz. Dazu noch Open WebUI, die in einer VM läuft. Stable Diffusion läuft auch super.

Im Endeffekt für das Geld gute Leistung für eine KI Spielwiese. Bzw. für das was ich damit anstelle. Und wenn ich mehr brauchen sollte, dann kommt in 2025 neues System.

 

[Maviba]

Ich habe mir vor paar Wochen NVIDIA GeForce RTX 4060 Ti 16GB gekauft. Läuft ohne Probleme in meinem PC mit einem 300 Watt Netzteil.

300? Das wäre mir aber echt zu riskant. Würde ich echt auswechseln.
Ich habe auch eine, und mit der zieht der Rechner bei mir bislang bis zu 325 W aus der Dose.

 

[oicfar]

Die 4060 zieht max. 165 Watt. Ich laufe aber nicht auf 100%. Der Rechner ist an einer Steckdose, wo ich den Verbrauch sehen kann. Und da ist noch Luft, wenn Last anliegt.

Ich habe kein Fall, wo die CPU (AMD Ryzen 7 5700G) und die GraKa auf 100% laufen.

Ergänzung (21. Oktober 2024)

Ich habe das System mit einigen Sachen schon länger belastet, um zu sehen ob es problematisch wird. Dann hätte ich auch neues Netzteil gekauft.