Grafikkarte für Ki gesucht

[Don-DCH]

Guten Mittag zusammen,

ich finde das Thema Ki/Ai sehr spannend und würde gerne selbst damit experimentieren.

Vielleicht mit Linux oder Unraid.
Bei Unraid habe ich schon mal reinegschaut und es gibt ja einige Möglichkeiten

Leider wird oft eine Grafikkarte vorrausgesetzt.

Aktuell teste ich Unraid auf meinem alten Dell PowerEdge T20 mit Intel Xeon 1225 V3 CPU.

Ich habe mal die App Local AI installiert, viele andere gehen leider nicht magels GPU, auch hier kann eine GPU eingebunden werden.
Die Antwortzeit ist aber wahnsinnig langsam, kann auch an den mikrigen 8GB RAM liegen hmm.

Habe aber noch ein Mainboard für AM4 hier und könnte da aufrüsten vielleicht in Richtung 5600X oder 5900X?

Nun Frage ich mich, welche möglichst preiswerte Karte ich nehmen sollte.
Da es wirklich nur Spielerei ist, würde ich eigentlich nicht über 300€ ausgeben wollen.

Die Frage ist bekommt man dafür etwas gutes?

Lieber eine neue Karte kaufen oder im Gebrauchtmarkt umschauen?
Lieber Geforce oder eine Professionelle gebrauchte Karte?

Kenne mich nur mit den Consumer Karten aus, soweit ich das richtig verstehe ist Speicher der Karte wichtiger als die Anzahl der Kerne, dadurch dauern Berechnungen zwar länger aber wenn es zu wenig Speicher gibt, so kann es zu Fehlern kommen ist das richtig?

Um die 300€ würde es eine neue 3060 mit 12 GB VRAM geben, das finde ich nicht schlecht:
https://geizhals.de/?cat=gra16_512&xf=132_12288~653_NVIDIA

Würde das ausreichen oder würdet ihr in jedem Fall eine andere Karte nehmen eher aus dem professionellen Bereich wie Quadro oder Tesla?

Viele Grüße und einen schönen Tag zusammen

 

[ghecko]

Du brauchst jedenfalls keine Quadro oder Tesla. Aber eine RTX wäre schon von Vorteil. Die 3060 bietet sich da an im Budget-bereich.
Ob dir die Grafikkarte reicht kann keiner sagen, solange du nicht genauer erklärst was du damit vor hast.
Wenn eine 3060 vllt 200 Bilder pro Sekunde mit bei FHD mit Gesichtserkennung schafft, schafft eine 4080 vllt das dreifache. Und der VRAM darf auch nicht ausgehen, aber auch das kommt darauf an wie groß das trainierte Netzwerk ist, das dort leben muss.

Welche CPU da am Ende die GPU verwaltet, ist nicht wichtig.

 

[Don-DCH]

Danke dir für die schnelle Rückmeldung!

Hmm ich würde gerne Stable Diffusion ausprobieren mit guter Auflösung Full HD Bilder erzeugen oder 4K falls das geht.

Wie lange das dauert ist nicht wichtig. Hauptsache es geht
Dafür war glaube ich der Speicher der GPU sehr wichtig meine ich gehört zu haben, das man sonst probleme haben kann, wenn dieser zu klein ist.

Somit wäre es dann nur wichtig das man viel VRAM hat oder?
Oder sind auch Probleme möglich im Falle einer zu lansgamen Karte?

Auch fände ich es cool eine lokale Alternative zu CHatGPT zu haben. Da habe ich letztens ein Video zu GPT4All gesehen, was man mit seinen Dokumenten Füttern kann und dazu fragen stellen kann. Das fand ich sehr spannend.
Das braucht denke ich eher eine schnelle Karte wie viel Speicher um nicht allzu lange auf die Antwort zu warten.

Wobei ich da garkein Gefühl habe wie schnell das geht.
Merke nur bei meinem kleinen Test ist es mit meiner alten CPU sehr langsam.

Wenn das die GPU übernimmt wird es denke ich auch schneller gehen sofern die Unterstützung und Parallelisierung da gut ist.

Die Frage ist ob die 12GB einer 3060 reichen oder ob man sich lieber ein älteres gebrauchtes Modell mit 16 oder gar noch mehr Speicher zulegen sollte falls es das irgendwie zu dem preis überhaupt gibt?

Oder haben die neuen Karten andere Vorteile?

 

[ghecko]

Hmm ich würde gerne Stable Diffusion ausprobieren mit guter Auflösung Full HD Bilder erzeugen oder 4K falls das geht

Da dies keine Echtzeitanwendungen sind, ist die GPU-Leistung nicht mehr so wichtig, weil man unbegrenzt lange auf die Bilder warten kann. Aber: Je besser das Modell, desto größer ist es auch. Da wird der VRAM halt schnell eng. In wieweit lokale Modelle VRAM benötigen kann ich dir leider nicht sagen, da fehlt mir die Erfahrung.

Um die 300€ gibt es hingegen aber nicht viel Alternativen zur 3060, also wird es wohl reichen müssen.

Auch fände ich es cool eine lokale Alternative zu CHatGPT zu haben.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Dann wäre Llama 3 was für dich. Ist wohl auch klein genug um es lokal laufen zu lassen, wobei ich nicht weiß ob der VRAM einer 3060 da reicht.

//yes, it can:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Garmor]

Das 8B-Modell passt in 8GB und für das 70B-Modell braucht man dann 64. Was dazwischen wäre schön, da das 8B-Modell definitiv weit entfernt von ChatGPT ist.

 

[Der_Dicke82]

Moin moin,

wie schon geschrieben wurde, hängt alles am genutzten Modell. Die größeren brauchen auf jeden Fall mehr Speicher.

Im Videoschnitt Bereich gibt es einige die APUs bevorzugen, weil du sehr günstig viel VRAM haben kannst (Es wird ja der Arbeitsspeicher genutzt)

Bei GPT4All musst du darauf achten, das Vulkan zur beschleunigt genutzt wird und da ist AMD teilweise besser als Nvidia.
Andere nutzen wiederum Cuda und da kommt AMD natürlich nicht mit.

Also, ganz so leicht ist es nicht! Vielleicht eine APU von AMD und eine Graka von Nvidia?

Gruß, Stefan

 

[Don-DCH]

//yes, it can:

Klingt sehr gut, vielen Dank dir für die Videos und die damit verbundene Recherche

Das 8B-Modell passt in 8GB und für das 70B-Modell braucht man dann 64. Was dazwischen wäre schön, da das 8B-Modell definitiv weit entfernt von ChatGPT ist.

Danke dir, hast du das 8B Modell schon selbst verwendet?
Reden wir hier von RAM oder VRAM?

Mit RAM lässt sich das ja machen aber VRAM wird schwer

Im Videoschnitt Bereich gibt es einige die APUs bevorzugen, weil du sehr günstig viel VRAM haben kannst (Es wird ja der Arbeitsspeicher genutzt)

Das ist ein guter Tipp!

Das heißt man kann für Models, welche einen Grafikchip und viel Speicher benötigen den RAM verwenden und für alles andere die dedizierte Grafikkarte.

Also, ganz so leicht ist es nicht!

Ja ich merks

Muss mich nochmal genauer mit den verschiedenen Modellen beschäftigen.

Vielleicht eine APU von AMD und eine Graka von Nvidia?

Klingt auf jeden Fall nach einem Plan
AMD würde ich sowieso nehmen und dann kann ich gleich eine APU verbauen um auf der sicheren Seite zu sein

 

[Der_Dicke82]

Klingt auf jeden Fall nach einem Plan
AMD würde ich sowieso nehmen und dann kann ich gleich eine APU verbauen um auf der sicheren Seite zu sein

Ich denke die Idee ist gar nicht so schlecht, dann bist du bei entsprechendem Arbeitsspeicher halt auch in der Lage sehr große Modelle zu testen, die Reaktionszeit wird aber relativ schlecht sein.

Auf huggin Face gibt es auch OpenSource modelle die bereits spezialisiert wurden. Da wird dann ein großes Allgemeines Modell genommen und dann auf ein Spezielles Thema optimiert, zum Beispiel Programmierung, oder Politik oder was auch immer.
Das daraus entstehende Modell ist dann deutlich kleiner und entsprechend auch schneller, dafür sind halt nur noch spezielle Daten vorhanden.

Ich hoffe du bist bereit für den Kaninchenbau :-D

Gruß, Stefan

 

[Garmor]

Danke dir, hast du das 8B Modell schon selbst verwendet?
Reden wir hier von RAM oder VRAM?

Ja, über Gpt4all und ein bisschen über Ollama. Vor allem wenn man Englisch verlässt, wird das Eis sehr schnell dünn.

In Gpt4all kannst du dir aussuchen, ob das Modell auf der CPU oder der GPU laufen soll. Wenn es nicht in den VRAM passt, wird es stattdessen wieder in den Systemspeicher zurückgequetscht und auf der CPU ausgeführt. Wenn du dir auf Huggingface irgendwelche Modelle im GGUF-Format für Gpt4all raussuchst, sind viele aber gar nicht erst auf der GPU lauffähig. Die im Programm vorgeschlagenen Modelle müssten es aber alle sein.

 

[Don-DCH]

Danke euch, dann werde ich mich mal durchforsten

 

[borg5349]

gebrauchte Nvidia Tesla P40 wäre auch ne option, hat 24GB ram und kostet zwischen 200 und 300€ auf ebay

 

[Treiber]

Danke dir für die schnelle Rückmeldung!

Hmm ich würde gerne Stable Diffusion ausprobieren mit guter Auflösung Full HD Bilder erzeugen oder 4K falls das geht.

Wie lange das dauert ist nicht wichtig. Hauptsache es geht

Ich hatte dazu schon in deinem anderen Thread etwas geschrieben. Vergiss das mit "egal wie lange es dauert", denn du wirst Zeit brauchen herauszufinden, wie du das hinbekommst, was du möchtest und wenn jede minimale Anpassung minutenlang dauert, macht es keinen Spaß mehr.
Du kannst mit einer 0815 GPU keine 4k Bilder in Stable Diffusion erzeugen. Du kannst kleinere Bilder erzeugen und die hochskalieren mit KI, also da passiert auch etwas (mehr Details usw.). Da ist aber nicht so EZ PZ wie es klingt. Alternativ skalierst du einfach Bilder nur direkt hoch, aber das sieht dann auch entsprechend aus. Es gibt übrigens sogar Firmen, die für dich Bilder professionell in höhere Auflösung bringen.

Abgesehen davon hast du selber noch keine Erfahrung und mit längerer Zeit zur Bilderzeugung wird deine komplette Lernzeit mit den Tools vervielfacht. Lasse den "wie lange es dauert ist nicht wichtig" Ansatz. Habe ich auch versucht, kostet nur unnötig Zeit. Die von dir angegebene 3060 mit 12GB sollte wirklich dein Minimalanspruch sein. Die paar noch weiter darunter gesparten Euro stehen in keinem Verhältnis zur Zeit.
Viel Spaß!