(Gaming-) PC vor allem für Text-KI

[eddy131]

1. Möchtest du mit dem PC spielen?

• Welche Spiele genau? …
• Welche Auflösung? Genügen Full HD (1920x1080) oder WQHD (2560x1440) oder soll es 4K Ultra HD (3840x2160) sein? … Habe WQHD, finde den Unterschied aber nicht so ausschlaggebend. Werd wohl einfach das höchste nehmen, das halt geht
• Ultra/hohe/mittlere/niedrige Grafikeinstellungen? …
• Genügen dir 30 FPS oder sollen es 60 oder gar 144 FPS sein? …

Eher casual Gamer, vielleicht aber auch mal ein aktueller Titel. FullHD und mittelhohe Einsteilungen haben mir da bisher aber immer gereicht, auch wenn ich einen WQHD Monitor mit 27" hab. Solange es flüssig läuft und alles erkennbar ist, reicht mir das.

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Interessiere mich seit ner Weile für AI, besonders LLMs. Die würde ich gerne lokal betreiben können. Denke das wird das technisch Anspruchsvollste sein, was der PC machen können soll.

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
Licht und Design sind egal, wird unterm Tisch stehen. Will dafür also kein extra Geld ausgeben. Leise wäre nett, aber definitiv nicht notwendig (Sollte aber auch kein Motor sein, keine Ahnung wie laute aktuelle Tower so sind, nutze seit gut ~15 Jahren nur Laptops und mein letzter hatte ne SSD, war also praktisch die meiste Zeit absolut lautlos).

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
…
Habe den hier: https://www.amazon.de/gp/product/B09PYXZ57J/ref=ppx_yo_dt_b_search_asin_title?ie=UTF8&psc=1
27", WQHD, 170 HZ, FreeSync support, AdaptiveSync (Was auch immer das ist)

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)
Nein, vorher Laptop genutzt: Lenovo Thinkpad X1 Carbon (2017). Der gibt aber langsam seinen Geist auf.

6. Wie viel Geld bist du bereit auszugeben?
Ich dachte so rund 2.000€

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Gerne jetzt schon, kann aber auch noch warten. Solange der Laptop noch hechelt und nicht tot umfällt, bin ich für das Nötigste versorgt, auch wenn es an manchen Ecken nicht mehr ganz so viel Spaß macht den zu nutzen.

8. Möchtest du den PC

• selbst zusammenbauen (wie schätzt du dein Vorwissen diesbezüglich ein?) oder
• zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?

Gerne selber, vielleicht auch beim Computer Fritzen um die Ecke. Hab gehört deren Wärmeleitpasten und so Kleinigkeiten sind besser, als was man mitgeliefert bekommt? Und für einen PC gleich ne ganze Tube von allem zu kaufen ist dann unnötig. Oder was sagt ihr? Die technischen Fähigkeiten und die Muße dafür hätte ich.


Also, dann noch mal im Fließtext: Hi :-)
Da bei mir eh ein neuer PC ansteht (hatte hier ja schon mal vor ner Weile gefragt), und sich bei KI ja in letzter Zeit einiges getan hat, wollte ich mal Fragen, was man da überhaupt bräuchte um das lokal betreiben zu können. Viel VRAM hab ich gehört wäre das wichtigste. Da mein jetziger PC zu schwach ist hab ich mit Bildgeneration praktisch kaum was gemacht, wäre da aber denke auch dran interessiert. Aber vor allem geht es mir um Text-Generation. Man kann mit AI super Pen and Paper Runden spielen. Problem ist nur, dass gerade bei längeren Sessions die aktuellen (kostenlosen) Online Modelle irgendwann Sachen vergessen, schnell (oder von Anfang an) inkonsistent und unlogisch sind oder seltsame und oft nicht nachvollziehbare Restriktionen haben. Das Ü-18 gesperrt ist kann ich verstehen. Aber mal beschreibt die KI nen Kampf mit teils sogar zu heftiger Brutalität, dann wieder sieht er die Content-Policy verletzt, wenn ein paar Teens sich über belangloses unterhalten (also nichts erotisches oder brutales). Das nervt dann, wenn man vieles umschreiben muss um zu hoffen dass bestimmte Wortkombinationen die KI nicht triggern - kann es mir nur so vorstellen, da ich gerne längere Texte auf einmal schreibe und sich dann vermutlich was beißt.
Keine Ahnung wie gut die lokalen KI's überhaupt sind, ich habe bisher nur kleine und wenig Ressourcenhungrige Modelle getestet (mit GPT4All und Faraday.Dev), und da dann 1~2 Minuten warten müssen, bis sich 1 Wort alle 2 Sekunden aufgebaut hat. War ne Qual zum testen, aber die Ergebnisse am Ende waren nicht so viel schlechter als deren Online-Pendants als ich erwartet hatte. Habe also Hoffnung, dass mit entsprechender Hardware und den größeren Modellen ich da sehr gute Pen and Paper Runden aufbauen kann, und das dann auch endlich vernünftig für ein Gruppenspiel nutzen kann. KI übernimmt dann den Game-Master (Mit playnarrator.com geht das schon ganz gut, aber eben mit den genannten Restriktionen).

Was bräuchte ich also, das die Runde möglichst lange konsistent bleibt? Und die Texte auch schnell genug produziert werden, mit genug (logischer) Kreativität aber auch Konsistenz?
Und falls ihr noch Programme/Masken für die KI-Modelle kennt, wo man mehrere Charaktere einpflegen kann, die dann von der KI gesteuert und vielleicht sogar aktuell gehalten werden (Figur verliert/bekommt Lebenspunkt, Charakterzüge verändert sich durch Handlungen, Beziehungen unter den Charakteren, etc.), dann wäre das grandios. Playnarrator ist da bisher das beste, was ich getestet habe, bleibt aber an vielen Stellen dann doch etwas zu Oberflächlich für meinen Geschmack. Und da ChatGPT die Grundlage bildet, ist das Programm auch sehr großzügig mit Restriktionen und verbietet viel zu viel, leider.

Reichen meine veranschlagten 2.000€ dafür aus? Oder was würdet ihr da empfehlen? Bei viel mehr würde ich noch etwas warten, bis ich mehr auf der hohen Kante liegen hab. 2.000 könnt ich grad Schmerzfrei erübrigen. Will aber gleich was vernünftiges haben und nicht in 6 Monaten wieder basteln oder was neues zusammenstellen müssen.
Sind die Anforderungen für Text-KI und Bild-KI die gleichen? Oder müsste ich für Bild-Generation dann noch auf was anderes achten?

 

[Tenferenzu]

Was bräuchte ich also, das die Runde möglichst lange konsistent bleibt? Und die Texte auch schnell genug produziert werden, mit genug (logischer) Kreativität aber auch Konsistenz?

Ich bin kein Experte und habe auch noch nicht versucht eines der Modelle lokal laufen zu lassen aber soweit ich weiß, benötigst du so viel GPU Speicher wie nur irgendwie in dein Budget reinpasst. Die untere Grenze wäre da vermutlich irgendwo bei 12-16GB, besser wären wohl eher 24GB.

Ich würde dir aber raten einfach mal die Modelle zu Googlen und zu kucken welche HW oft dafür empfohlen wird. Da lässt sich sicher was finden.

 

[Xes]

Gerne selber, vielleicht auch beim Computer Fritzen um die Ecke. Hab gehört deren Wärmeleitpasten und so Kleinigkeiten sind besser, als was man mitgeliefert bekommt?

Nein die kochen auch nur mit Wasser.

Vorab Disclaimer: Ich bin da auch kein Profi, probiere nur aus Laieninteresse immer mal wieder lokale Intallationen von Bild- und Textgeneratoren aus und spiele damit herum.

So pauschal lässt sich das vermutlich auch garnicht beraten:
Viel in dem Bereich setzt auf Cuda von Nvidia, leider geizen letztere sehr mit VRAM, was auch sehr wichtig ist.
Eine gebrauchte RTX 3090 könnte dank der 24GB VRAM sehr gut sein. Eine RTX 4080 hat nur 16GB, dafür eine gute Ecke mehr Rohleistung (+Garantie bei Neukauf).
Eine RTX 4090 wäre wohl (was consumer Hardware angeht) das maximum mit üppig Leistung und VRAM, die sprengt aber das Budget wenn für 2000€ ein kompletter Rechner her soll.

 

[abcddcba]

Keine Ahnung wie gut die lokalen KI's überhaupt sind, ich habe bisher nur kleine und wenig Ressourcenhungrige Modelle getestet (mit GPT4All und Faraday.Dev), und da dann 1~2 Minuten warten müssen, bis sich 1 Wort alle 2 Sekunden aufgebaut hat. War ne Qual zum testen, aber die Ergebnisse am Ende waren nicht so viel schlechter als deren Online-Pendants als ich erwartet hatte. Habe also Hoffnung, dass mit entsprechender Hardware und den größeren Modellen ich da sehr gute Pen and Paper Runden aufbauen kann, und das dann auch endlich vernünftig für ein Gruppenspiel nutzen kann. KI übernimmt dann den Game-Master (Mit playnarrator.com geht das schon ganz gut, aber eben mit den genannten Restriktionen).

Hängt davon ab, für Role Playing gibt es viele, am Ende kannst du natürlich immer ein kleineres Modell nutzen, oder halt ein größeres mit Quantization. Token/s ist halt wichtig, Modelle gibt es wie Sand am Meer:
Airoboros, Chronoboros, usw und so fort - VRAM ist schon wichtig, auch wenn man mit LLAMA-CPP auch die CPU gut nutzen kann und es vor allem für die großen Mac beeindruckende Werte schafft auf der ARM Architektur.
Hier ist mal ein Einstieg für dich: https://rentry.co/ALLMRR

 

[elgorro]

Die untere Grenze wäre da vermutlich irgendwo bei 12-16GB

https://blog.nomic.ai/posts/gpt4all-gpu-inference-with-vulkan GPT4All ist CPU-fokusiert. Empfohlen sind tatsächlich aber 30+ GB VRAM...

 

[eddy131]

Ich bin kein Experte und habe auch noch nicht versucht eines der Modelle lokal laufen zu lassen aber soweit ich weiß, benötigst du so viel GPU Speicher wie nur irgendwie in dein Budget reinpasst. Die untere Grenze wäre da vermutlich irgendwo bei 12-16GB, besser wären wohl eher 24GB.

Ich würde dir aber raten einfach mal die Modelle zu Googlen und zu kucken welche HW oft dafür empfohlen wird. Da lässt sich sicher was finden.

Ja, das war mehr oder weniger auch das einzige, was ich als klare Empfehlung rauslesen konnte. Viel VRAM (und da sind die 24GB ja aktuell das beste für ne consumer Karte). Bei allem anderen gibt's irgendwie kaum Aussagen. Reicht also was Mittelmäßiges?

Nein die kochen auch nur mit Wasser.

Echt? Dann bau ich den vielleicht wirklich selber zusammen. Das installieren der bliebe dann noch, was ich immer am nervigsten fand. Bei Laptops kann man ja immer alles direkt beim Hersteller des Laptops finden, oft direkt auf das Gerät zugeschnitten. Gibt's da eigentlich mittlerweile gute Software, die den Rechner scannt und alles automatisch installiert? Die Lösungen die ich von damals kenne waren immer eher semi und es war oft besser lieber alles per Hand rauszusuchen und zu installieren. So ein System wie bei den Updates am Handy würd ich mir für nen Desktop gerne wünschen.

Vorab Disclaimer: Ich bin da auch kein Profi, probiere nur aus Laieninteresse immer mal wieder lokale Intallationen von Bild- und Textgeneratoren aus und spiele damit herum.

So pauschal lässt sich das vermutlich auch garnicht beraten:
Viel in dem Bereich setzt auf Cuda von Nvidia, leider geizen letztere sehr mit VRAM, was auch sehr wichtig ist.
Eine gebrauchte RTX 3090 könnte dank der 24GB VRAM sehr gut sein. Eine RTX 4080 hat nur 16GB, dafür eine gute Ecke mehr Rohleistung (+Garantie bei Neukauf).
Eine RTX 4090 wäre wohl (was consumer Hardware angeht) das maximum mit üppig Leistung und VRAM, die sprengt aber das Budget wenn für 2000€ ein kompletter Rechner her soll.

Ich frag mal so: Ist der Mehrwert einer 4090 im Vergleich zu einer 3090 den Aufpreis wert? Also sind das nicht nur 5% mehr, sondern eher doppelte Leistung? Anfang nächsten Jahres wäre ich in Punkte verfügbares Bargeld etwas freier, könnte dann auch ein gutes Stück weiter hochgehen. Wäre halt nur ärgerlich, wenn ich jetzt was kaufe, was dann beim benutzen nicht wirklich Spaß macht, weil zu langsam oder irgendwas zu klein dimensioniert und das nächstgrößere Modell (also 3090 zu 4090) dann aus ärgerlich spaßig gemacht hätte. Mein Traum ist es, dass man irgendwann ein ganzes Regelwerk in die KI füttern kann, wie etwa Splittermond oder Dungeons and Dragons (beides Pen and Paper Regelwerke) und die KI die dann versteht und alle immer parat hat. Mit Text to speak und speak to text kann der Spielleiter dann auch wie ein richtiger Spielleiter agieren, hat aber alle teils sehr umfangreichen Regeln immer parat und webt die Sinnvoll in die Geschichte ein. Oder dass man ganze Welten (Harry Potter, Star Wars, Marvel,...) einspeisen kann (also die Bücher oder textliche Zusammenfassungen der Filme) und man dann in der Welt mit den Bekannten Figuren neue Geschichten erleben kann. Gestützt mit Bildgeneration, die dann immer wieder Bilder der Szenen, Figuren oder Umgebungskarten ausspuckt, wäre dass ein Hammer Spiel-Erlebnis. Keine Ahnung ob die Limitation da aktuell nur die Software ist oder man dann definitiv auch andere Hardware bräuchte.

Hängt davon ab, für Role Playing gibt es viele, am Ende kannst du natürlich immer ein kleineres Modell nutzen, oder halt ein größeres mit Quantization. Token/s ist halt wichtig, Modelle gibt es wie Sand am Meer:
Airoboros, Chronoboros, usw und so fort - VRAM ist schon wichtig, auch wenn man mit LLAMA-CPP auch die CPU gut nutzen kann und es vor allem für die großen Mac beeindruckende Werte schafft auf der ARM Architektur.
Hier ist mal ein Einstieg für dich: https://rentry.co/ALLMRR

Ja, wie gesagt hab ich mit ein paar Modellen schon rumgespielt (auch viele der schnellen online AI's nutzen die open Source Modelle mit kaum oder nur wenig Veränderung; die zeigen also schon gut, wozu die fähig sind. Und meist liegt es wirklich vor allem daran, dass die schnell vergessen, was bisher geschrieben wurde, die Texte ansonsten aber meist sehr ordentlich sind), wenn der neue PC dann da ist will noch mal viel mehr machen. Deinen Link les ich mir gleich mal durch, danke für den.

Ergänzung (4. Oktober 2023)

https://blog.nomic.ai/posts/gpt4all-gpu-inference-with-vulkan GPT4All ist CPU-fokusiert. Empfohlen sind tatsächlich aber 30+ GB VRAM...

GPT4All kann aber auch die GPU mit reinnehmen. So zumindest bei meinem Test. Aber stimmt schon, meine CPU Auslastung sprang auf dauerhaft 100%. Und meine i7 7500 U ist jetzt auch noch nicht soo schlecht. Bei Faraday war es andersrum. GPU 100%, CPU eher weiter unten. Was jetzt besser ist weiß ich nicht. GPT4All war beim Start schneller, man kann es direkt nutzen. Bei Faraday muss die Modelle erst laden, bei jedem Chat aufs neue. Das dauerte bei mir schon mal 5 Minuten plus. Danach haben die sich aber nicht viel getan, die getesten Char-Bots waren aber verschiedene, das spielt ja auch mit rein.

 

[Tenferenzu]

Gibt's da eigentlich mittlerweile gute Software, die den Rechner scannt und alles automatisch installiert?

Das Ding nennt sich Windows Update und/oder Linux. Nur wenn irgendwas nicht so funktioniert wie es soll musst du ev. die Treiber nachinstallieren.

Bei Laptops kann man ja immer alles direkt beim Hersteller des Laptops finden, oft direkt auf das Gerät zugeschnitten.

Gleiches gilt für Motherboards bei Desktops.

Maximal den Grafikkartentreiber kannst du nachinstallieren wenn dir der von Windows mit Stand.. Eh? April 2023 oder so.. zu alt ist.

So ein System wie bei den Updates am Handy würd ich mir für nen Desktop gerne wünschen.

Chocolatey oder direkt Linux verwenden

 

[eddy131]

Und wo bitte bekomm ich jetzt 30+ GB an VRAM her...? XD

Ergänzung (4. Oktober 2023)

Das Ding nennt sich Windows Update und/oder Linux. Nur wenn irgendwas nicht so funktioniert wie es soll musst du ev. die Treiber nachinstallieren.

Oh, sehr gut. Dann geht das wohl mittlerweile von Haus aus. Wie gesagt, bei meinem Laptop hat das der Lenovo-Updater immer gemacht und von Windows kamen nur OS-Updates.

Gleiches gilt für Motherboards bei Desktops.

Maximal den Grafikkartentreiber kannst du nachinstallieren wenn dir der von Windows mit Stand.. Eh? April 2023 oder so.. zu alt ist.

Perfekt. Das krieg ich wohl noch hin ^^
Danke für die Info.

 

[Tenferenzu]

wo bitte bekomm ich jetzt 30+ GB an VRAM her...? XD

Ganz einfach:
https://geizhals.at/pny-rtx-a6000-vcnrtxa6000-pb-a2409187.html
Alles eine Frage des Preises

Es gab auch mal eine AMD Karte mit 2 TB VRAM... da wurde einfach eine SSD direkt auf der Karte verbaut.

 

[eddy131]

https://blog.nomic.ai/posts/gpt4all-gpu-inference-with-vulkan GPT4All ist CPU-fokusiert. Empfohlen sind tatsächlich aber 30+ GB VRAM...

Bringen da dann 2 oder mehr kleinere GraKas im Kombobetrieb eventuell mehr? Also das man auf mehr als die 24GB kommt, aber immer noch günstiger als die ganz neuesten Karten bleibt? Zwei 4090 wäre mir dann doch auch etwas übertrieben ^^

Ergänzung (4. Oktober 2023)

Ganz einfach:
https://geizhals.at/pny-rtx-a6000-vcnrtxa6000-pb-a2409187.html
Alles eine Frage des Preises

Äh, ja. Nein XD
Ich will kein Haus bauen, nur einen PC für Freizeitaktivitäten XD

 

[elgorro]

Nur mal so in den Raum geworfen: benutz für 0815 doch die OpenAI-API. Kommst damit wahrscheinlich günstiger weg.

Wenn du zuviel Geld hast: Kannst du dir ne NVidia Quadro RTX A6000 gönnen.

 

[eddy131]

Die 2TB von Radeon gibt's auch nur für 7.000 Dollar... Wenn man die überhaupt kaufen kann und das nicht nur ein theoretischer Preis ist. Das ist alles deutlich mehr als ich bereit wäre für mein Hobby auf einem Schlag auszugeben.

Ergänzung (4. Oktober 2023)

Nur mal so in den Raum geworfen: benutz für 0815 doch die OpenAI-API. Kommst damit wahrscheinlich günstiger weg.

Wenn du zuviel Geld hast: Kannst du dir ne NVidia Quadro RTX A6000 gönnen.

Wie gesagt: OpenAI ist deutlich zu restriktiv, nicht nur für Ü18. Und zu viel Geld hat man nie. 2.000€ hab ich aktuell angepeilt, würde bei entsprechendem Mehrwert auch etwas mehr ausgeben. Aber nicht 5.000€ nur für die Grafikkarte. Das ist dann schon nicht mehr nur "etwas" mehr.

 

[Tenferenzu]

Eines vielleicht noch: Kuck mal bei deinen Kumpels etc. ob du das mit anderer Hardware zum Laufen bekommst und wie schnell die Modelle sind.

Wenn's wirklich nur um VRAM geht, kann man auch eine AMD APU wie den 5600G nehmen da man dem z.B. 16GB RAM + dynamisch die Hälfte des verbleibenden RAMs zuweisen kann. Allerdings ist der natürlich Leistungsmäßig doch etwas weit unter einer RTX 4090 und CUDA gibt's dort natürlich auch nicht.

Vlt. hat ja jemand aus deinem Bekanntenkreis eine AMD APU in seinem Laptop. Einen Versuch wäre es wert.

 

[eddy131]

Guter Einfall, aber leider nicht. Ich bin in meinem Bekannten- und Freundeskreis so ziemlich der technischste. Die haben alle einfache Geräte oder nur Handys (teils auf mein Anraten hin, weil die einfach nicht mehr brauchen für das, was die damit machen wollen). Ich hätte daher nicht wirklich Zugang zu Geräten, die deutlich stärker sind als das, was ich selber habe. Und da ich die letzten Jahre eher auf Mobilität und weniger auf Leistung angewiesen war, hab ich halt ein kleines Gerät mit großem Akku und schneller CPU/SSD, aber eben nur ner 620 onboard Grafikeinheit. Wenn nicht eh ein neues Gerät anstehen würde und ich wieder leichtes Interesse für's Gaming und großes Interesse für AI entwickelt hätte, dann ich so viel Leistung auch nicht wirklich. Vieles geht heute halt online oder auf mittelmäßiger Hardware sehr gut für deutlich weniger Geld.

Gibt's denn andere hier, die mehr zu der 5600G oder ähnlichen Karten in dem Zusammenhang sagen könnten? Das vielleicht sogar mal selber testen könnten, wenn so eine Karte vorhanden ist?

Ergänzung (4. Oktober 2023)

Was ist eigentlich mit dem normalen RAM? GPT4All belegt ja schon ordentlich was davon. Sollte ich da auch auf 32 oder 64GB achten? Oder fällt das weg, wenn genug VRAM vorhanden ist?

 

[Xes]

Ich frag mal so: Ist der Mehrwert einer 4090 im Vergleich zu einer 3090 den Aufpreis wert? Also sind das nicht nur 5% mehr, sondern eher doppelte Leistung?

Wenn wir jetzt von der reinen Gaming-Leistung ausgehen, ist eine 4090 über 70% schneller als eine 3090.
Ob das auch in KI-Anwendungen so gut skaliert kann ich dir nicht sagen. Ins blaue Geraten, würde ich aber auch da von einem deutlich spürbaren Unterschied ausgehen.

Eine Quadro halte ich für den Consumereinsatz für Unsinn. Selbst die 4090 ist in meinen Augen schon ein dekadenter Luxus, aber wenn man das Geld locker sitzen hat, nur zu.

Auf meiner 3070 läuft das Text generieren lokal eher mäßig:
Nachdem ich ein wenig in den Einstellungen herumfrimeln musste um das überhaupt halbwegs zum laufen zu bekommen, damit er nicht nach wenigen Antworten an VRAM-Mangel abstürzt (danke Nvidia für die 8GB VRAM...) nimmt sich das tool nun (ganz grob geschätzt) vor jeder Antwort ca. 10sec. Zeit und lässt die Wörter dann grob im sekundentakt heraus. Für den Praxiseinsatz (z.B. für Pen&Paper) wäre mir das zu langsam. Um damit ein wenig herumzuspielen, während man nebenher noch etwas anderes macht reicht es mir.

Wie gesagt, das ist jetzt meine Erfahrung mit einer 8GB 3070. Eine 16GB 4080 ist (im Gaming) mehr als doppelt und eine 4090 fast dreimal so schnell. Wenn die KI Perfomance auch nur annähernd so schnell wie die Gaming Performance skaliert und du nicht mehr ins VRAM Limit rennst, sollte es mit diesen Karten schon ganz gut laufen.

 

[eddy131]

Wie gesagt, das ist jetzt meine Erfahrung mit einer 8GB 3070. Eine 16GB 4080 ist (im Gaming) mehr als doppelt und eine 4090 fast dreimal so schnell. Wenn die KI Perfomance auch nur annähernd so schnell wie die Gaming Performance skaliert und du nicht mehr ins VRAM Limit rennst, sollte es mit diesen Karten schon ganz gut laufen.

Mmh, Ok. Die 10 Sekunden Wartezeit vor jeder Nachricht wären wirklich nervig. Vor allem wenn dann Mist rauskommt und man eventuell sogar mehrfach die Nachricht wiederholen muss. Aber würde das dann bei mehr VRAM schneller werden? Ich dachte bisher, der VRAM wäre vor allem für das größere Langzeitgedächtnis zuständig. Oder ist davon auch das Tempo der Generierung abhängig? So ganz verstehe ich den Zusammenhang bzw. was da was macht noch nicht. Wäre mehr VRAM oder mehr Rechenleistung besser? Oder anders gefragt: Welche Relation würde ma besten funktionieren? Wie viel Leistung im Verhältnis zu wie viel VRAM? Dann könnte man sich ja selber zusammenbasteln, welche oder wie viele GraKas im Verbund am sinnvollsten wären, abhängig vom Preis den man bezahlen möchte.

Oder vielleicht einfach etwas warten, bis dedizierte KI-GraKas rauskommen? Kann mir gut vorstellen, dass die Hersteller da ne eigene Sparte draus machen. Oder auch ganz simpel die nächsten Karten darauf hin optimieren. Als die 40er rauskamen bzw. entwickelt wurden war KI ja noch nicht so ein großes Thema wie jetzt. Das ist das nervige bei neuen Sachen: Man will gleich damit rumspielen, aber keiner weiß genau was am besten ist und die meisten Optionen sind teuer oder unoptimal ^^

Danke aber auf jeden Fall für die Einordnung. Eine 3070 wird dann für mich keine Option sein. Die Frage ist jetzt aber vor allem, ob die Wartezeit bei mehr VRAM auch deutlich kleiner ausfallen würde.

 

[Tenferenzu]

Oder vielleicht einfach etwas warten, bis dedizierte KI-GraKas rauskommen?

Aktuell entwickeln sich die LLMs viel schneller als die Grafikkarten. Da würde ich eher auf ein Modell hoffen das weniger Ressourcen benötigt.

 

[eddy131]

Ja, das stimmt wohl. Hab mich die Tage ein wenig in das Thema Hardware, ai und die madelle eingelesen. Das ist wirklich ein rabit hole wo sich alle paar Tage was ändert oder neue Erkenntnisse/Entwicklungen das alte teils obsolet machen.
Jetzt häng ich wieder bei der Frage fest: jetzt zugreifen und dann für die nächsten Jahre an die Hardware mehr oder weniger gebunden sein oder noch ein paar Monate warten und bis dahin nur auf online Modelle zurückgreifen können?

Wobei gute Hardware wohl immer gute Hardware bleiben wird, auch wenn sich die idealsten Kombinationen der Komponenten etwas ändern werden. Mich lächelt aktuell am meisten ein System mit ner 3090 an. Liegt gut in meinem Preisbereich und hat das höchste an VRAM. Und bei Bedarf und mehr Budget kann später noch ne zweite 3090 dazugeschlossen werden.
Was für andere Komponenten würdet ihr mir dazu empfehlen, die dann keinen Flaschenhals bilden für KI und eben eine zweite GPU unterstützen würden? WLAN und Bluetooth sollten auf dem Board gleich dabei sein und auch genug USB-C Steckplätze (ist da die Tage nicht ein neuer Standard rausgekommen? Gibt's da schon Mainboards die das haben und lohnt es sich gleich darauf zu setzen?).

 

[elgorro]

Für Privatpersonen gibt es inzwischen deutlich mehr Grafikkarten mit 16 GB VRAM. Mainboard AMD X670 Chip. 850 Watt Netzteil. 64 GB RAM (2x 32GB für Dual Channel). AMD Ryzen 9. Gute Dämmung und Lüftung. Mindestens eine PCIe 4.0 NVMe M.2 SSD. Mindestens eine HDD für Datenhalde. Ich vermute, es rendiert sich nicht in ne 3090 zu investieren für AI. In kürze wird der AI-API-Markt vermutlich eh zunehmen.