2x RTX 3090 im NVLink Verbund für LLMs

[aggroman]

Einen wunderschönen guten Tag und frohe Weihnachten an alle!

Ich fuchse mich gerade ein wenig in das Thema LLMs ein und möchte lokal LLAMA und co. mit 70b betreiben, dafür brauch man allerdings ca. 48GB VRAM d.h. mindestens 2 RTX 3090 im Verbund. Ich habe noch nie mehr als 1 Grafikkarte gleichzeitig betrieben und würde mich sehr über eure Unterstützung freuen. Meine konkreten Fragen wären:

1. Kann ich Grafikkarten vom unterschiedlichen Hersteller verwenden (ich habe aktuell eine RTX 3090 Aorus Xtreme)?
2. Wie stark müsste das Netzteil sein um 2 Grafikkarten versorgen zu können?
3. Könnt ihr mir ein AMD motherboard empfehlen, damit ich mein AMD 3900x weiterhin verwenden kann, welches 2 Grafikkarten unterstützt?
4. Brauch ich irgend eine speziell Lösung damit ich die Grafikkarten kühlen kann oder reichen die normalen Lüfter?

Habt ihr sonstige Empfehlungen und Hinweise?

Über feedback jeglicher Art wäre ich sehr dankbar!

Beste Grüße
Roman

 

[john.smiles]

Was haben 48GB Ram als Anforderung mit zwei 3090er zutun?

 

[aggroman]

Ich meine 48GB VRAM, sorry hätte ich direkt dazu schreiben sollen

 

[Mojo1987]

1. Ja normalerweise schon solange sie einen NVLink hat.
2. Mindestens 1200W und mindestens 6x8Pin PCIe Anschlüsse, keine Adapter!
3. Keine Ahnung ob NVLink besondere Boardanforderungen hat, ansonsten eines mit genug 16x fach PCI Slots, die mindestens 3 Slot auseinander liegen. Typischerweise sind das die High-End Boards. Bedenke allerdings, das der 3700X generell nicht genug dedizierte GPU Lanes bereitstellt, das wird also aufjedenfall Leistung kosten und das du genug Platz im Gehäuse dafür hast.
4. Ja, leise wirds aber nicht.

 

[SuperHeinz]

@Mojo1987: Zu 3; er hat einen 3900X, keinen 3700X, falls das eine Rolle spielt.

 

[Mojo1987]

Spielt es aus Sicht der PCIe Lanes nicht, aber ja du hast natürlich recht

 

[Jasmin83]

Dafür braucht man AMD Threadripper bzw Intel Skylake X oder was neueres aus dem Workstation Segment. Ist alles gigantisch teuer, aber wenn man zwei RTX 3090 ausnutzen will, braucht man Board und CPU mit 16/16 anbindung. Das war früher einfacher, muss ich ehrlicherweise sagen, als es heute ist, da einfach SLI/CF tot ist und somit keine Notwendigkeit mehr besteht sowas zu unterstützen, im breiteren Markt.