Günstige Grafikkarte für Machine Learning

[GHardware]

Hi,

vielleicht kann mir ja jemand helfen. Ich möchte gerne eine gebrauchte Nvidia GPU für Machine Learning Zwecke, da AMD ROCM auf meiner RX 590 nicht wirklich super funktioniert. Deshalb muss eine Nvidia her. Nun meine Frage, welche GPU eurer Meinung nach gut dafür wäre, meine Favoriten in dem Preisbereich sind die Tesla K20 (Kepler), GTX 970 (Maxwell), GTX 1060 (Pascal).

Die GPU würde in meinen Server (HP Z420) eingebaut und in eine VM durchgegeben, deshalb sind die nicht vorhandenen Grafikausgänge der Tesla-Reihe nicht wichtig.

Meine Frage ist, ob eine Kepler GPU nicht ausreichen würde, da Sie mit 40-50 Euro für den GK110 ("Titan"-Chip) ziemlich günstig ist. Ich habe aber Zweifel, da die CUDA Version schon ziemlich veraltet ist und das neuste Cuda Toolkit nicht unterstützt. Die Karte hätte 5 GB und wäre somit erstmal ok.

Mein zweiter Vorschlag ist die GTX 970, die zwar nur 3,5 GB schnellen Speicher hat, aber für um die 80 Euro zu bekommen ist und als Maxwell GPU eine neuere Cuda Version hat und somit als letzte Architektur noch die aktuellsten Toolkits unterstützt.

Mein letzter Vorschlag ist die beliebte GTX 1060, dadurch allerdings auch um die 120 Euro teuer, sie basiert auf Pascal und somit eine nochmal deutlich neuere Architektur. Die Karte hat von allen drei am meisten Speicher, da es dann natürlich die 6 GB Variante wird.

Die Frage ist jetzt, ob sich der Preisaufschlag lohnt für ein wenig mehr theoretische Rechenleistung bzw. neuere Architektur? Lohnt sich überhaupt eine GPU für den Preis für ML? Gibt es andere Vorschläge?

Da die GPU nicht 24/7 läuft, ist der Stromverbrauch erstmal zweitranging.

1. Wie viel Geld bist du bereit auszugeben?
100 Euro

2. Möchtest du mit der Grafikkarte spielen?
Nein

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

• Machine Learning (Tensorflow (keras), Pytorch)
• Eventuell noch bisschen was mit NVENC (nicht wirklich wichtig)

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
none, jupyter notebook oder fernzugriff

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• Prozessor (CPU): Xeon E5 2650 V2
• Aktuelle/Bisherige Grafikkarte (GPU): Virtio
• Netzteil(Genaue Bezeichnung): HP 600 Watt
• Gehäuse: HP Z420

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)
Nvidia

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Am Besten sofort, aber geht auch Anfang nächstes Jahr

 

[madmax2010]

In welche Richtung soll das gehen? Was für Modelle? 6gb vram sind sehr schnell sehr wenig..
Vielleicht ist es billiger gpu Instanzen auf Stundenbasis zu mieten

Welchen hypervisor nutzt du?

 

[GHardware]

In welche Richtung soll das gehen? Was für Modelle? 6gb vram sind sehr schnell sehr wenig..
Vielleicht ist es billiger gpu Instanzen auf Stundenbasis zu mieten

Aktuell für NLP und Computer Vision mit RNN, CNN bzw. dann Transformer. Das ist alles nur zum lernen und für den Spaß. Die Daten können dabei unterschiedlich groß sein.

 

[DerFahnder]

War da nicht irgendwas das Nvidia das Durchreichen von GPUs bei den Consumermodellen per Treiber verhindert?

 

[Mr.Seymour Buds]

Wenn Du nur lernen und testen willst, dann nimm die 970. Welche CUDA Version unterstützt wird, musst Du vorher nachsehen. Zum Lernen reicht aber auch eine alte Version voll aus. Ich habe vor 10 Jahren mit einer 630 - glaube ich - gelernt und es ging ohne Probleme. Auch mit nur 2 GB. Davor hatte ich teilweise eine der ersten CUDA fähigen Quadros mit 256 MB! Ob das durchreichen mit VM geht weiss ich allerdings nicht. Da solltest Du recherchieren. Sonst brauchst Du eine GPGPU aus der Quadro Serie.

 

[GHardware]

War da nicht irgendwas das Nvidia das Durchreichen von GPUs bei den Consumermodellen per Treiber verhindert?

Ja da hast du recht, habe ich wieder als AMD-Nutzer vergessen, dass Nvidia ja gerne Restriktionen einbaut, aber es gibt einen Fix (

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

). Zwar noch nicht selbst ausprobiert. aber würde ich dann wohl ausprobieren müssen xD.

Ergänzung (11. Dezember 2022)

Wenn Du nur lernen und testen willst, dann nimm die 970. Welche CUDA Version unterstützt wird, musst Du vorher nachsehen. Zum Lernen reicht aber auch eine alte Version voll aus. Ich habe vor 10 Jahren mit einer 630 - glaube ich - gelernt und es ging ohne Probleme. Auch mit nur 2 GB. Davor hatte ich teilweise eine der ersten CUDA fähigen Quadros mit 256 MB! Ob das durchreichen mit VM geht weiss ich allerdings nicht. Da solltest Du recherchieren. Sonst brauchst Du eine GPGPU aus der Quadro Serie.

Alles klar danke. Wie in der vorherigen Nachricht gezeigt, gibt es da einen Workaround. Ich glaube aber ich nehme erstmal die Tesla K20, da sie mehr Speicher hat und günstiger ist und auch von einem Händler ist. D.h. wenn sie nicht ausreicht, gebe ich sie zurück und hole mir was neueres/performanteres im nächsten Jahr, da die Preise gerade wieder steigen (Weihnachten?). Aber danke an alle hier, wenn ich dran denke, schreibe ich rein, wie die alte Kepler performt! Google Colab bietet ja auch noch die Tesla K80 an, die zwar mehr Speicher hat, aber auch auf Kepler basiert...