Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Suche PCIe Splitter für 4 GPUs (x16/x8x8 -> x4x4x4x4/x4x4+x4x4)
Ich suche eine Möglichkeit an das Mainboard "Asrock Rack X570D4U" 4 low profile GPUs (z.B. WX4100) zu hängen.
Somit könnten bis zu 4 VMs eine GPU Beschleunigung erhalten, da SR-IOV GPUs leider extrem veraltet+ teuer sind (AMD) und Nvidia mit GRID neben den extremen GPU Preisen auch noch Lizenzen pro VM verlangt.
Ich sehe folgende Möglichkeiten:
den x16 PCIe Slot auf 4x x4 splitten mit externer Stromversorgung
beide x8 Slots jeweils auf 2x x4 splitten mit externer Stromversorgung
Bonus:
- eine 5. GPU mit x16 riser Kabel an PCIe 4.0 x1 - weiß allerdings nicht, ob man eine GPU überhaupt an x1 hängen kann.
PS: das ganze befindet sich in einem 2HE Supermicro LPB-Gehäuse
So ein Board nur eben mit x16 auf 4x x16(x4) mit 8Pin 12V Stromanschluss wäre ideal.
Allerdings wäre es wahrscheinlich einfacher nochmal 350€ draufzulegen für eine 8C/16T EPYC Plattform, die gleich 7x x16 PCIe 4.0 bietet. Noch besser wäre natürlich ein 4U GPU Server für 8 dual slot GPUs, aber der ist weder DIY noch bezahlbar.
Prinzipiell kann man auch die M.2 Slots mit einem Extender für PCIe-Karten verwenden. Dann kann man sogar normal hohe Grafikkarten nutzen (je 2 in die PCIe-Slots und 2 über die M.2 angebunden.
Damit wäre auch das bifurcation-Problem hinfällig. Allerdings muss man den Storage dann anders anbinden.
Ich hätte hier eine Frage obendrauf:
Was passiert, wenn man einen Splitter x16->(4x x4) in einen Slot mit nur x8 steckt?
Vermutung: Die zwei ersten Riser Slots tun, die beiden anderen sind stillgelegt?
Hintergrund der Frage ist folgender:
Ich möchte meine diversen x16 Slots alle belegen, einen mit obiger Riser Karte. Nun ist es ja leider so, dass die meisten Mainboards theoretisch einen 1x x16 und einen 1x x8 Slot haben, diese bei Doppelbelegung praktisch aber auf eine 2x x8 Konfiguration zurückgeschalten werden.
Für den Fall der Doppelbelegung sind 2 Riserkarten x8->(2x x4) wohl besser als eine 16 auf 4x4.
Theoretisch könnte ich natürlich die für den 2. Slot vorgesehene Karte auch in einen der Riserslots stecken, aber eine schwere GraKa ist auf dem Mainboard einfach stabiler befestigt. Ausserdem spart man sich PCIe Stromzuführungen, deren Anzahl bei so vielen Risern auch zum Problem wird.
Und damit der Post auch die Frage des Threads beantwortet:
Hier gibt es Riser, die mit SAS Kabeln arbeiten, wodurch man viele Freiheitsgrade beim Verbauen im Gehäuse hat: https://riser.maxcloudon.com/de/10-bifurcated-risers
Mein Riser 16 auf 4x4 ist bereits angekommen. Die Qualität ist super, bin nur noch nicht zum Experimentieren gekommen. War aber womöglich eh dann der falsche..
@Kana_x Wenn deine x16 auf 4x4 Riserkarte schon da ist kannst du es ja testen und uns mitteilen 😎. Unsere Vorhaben sind so exotisch, dass das wohl keiner in diesem Forum schon mal gemacht hat
@KI v0.8.2 Ich bin zu ein paar Experimenten gekommen, allerdings nicht systematisch.
tl;dr
Zusammenfassend kann ich sagen, dass in einem Asus Prime X570-Pro mehrere Graphikkarten im Zusammenspiel mit einer x16 Riser Card nicht zu funktionieren scheinen.
*********
Was das ganze etwas unbefriedigend macht, sind unerklärliche Beobachtungen, zB dass die RX6800 im zweiten Slot NIE erkannt wird, wenn im ersten die Riser Card mit einer RX580 steckt.
Die RX580 und eine GT710 in beide der Riser wurden erkannt, allerdings haben HW Info und GPU-Z unterschiedliche PCIe Anbindungen (Standard und Lane Anzahl) angezeigt.
Vlt. kann ich noch ein paar Experimente machen, aber momentan kann ich nicht zu diesem Setup raten, es geht einfach nicht.
Ich habe mich inzwischen mit dem Gedanken getragen, auf eine Threadripper Platform zu wechseln, aber die lahme Geschwindigkeit der 1. Generation und die hohen Preise bzw Nicht-Verfügbarkeit der 2. und 3. haben mich wieder abgeschreckt.
Ich habe allerdings noch zwei andere X570 Mainboards hier (Gigabyte + MSI), da gibt es noch Experimentierpotential
Was das ganze etwas unbefriedigend macht, sind unerklärliche Beobachtungen, zB dass die RX6800 im zweiten Slot NIE erkannt wird, wenn im ersten die Riser Card mit einer RX580 steckt.
Hast du schonmal versucht im Bios manuell den x8/x8 Modus einzustellen?
Kana_x schrieb:
Ich habe mich inzwischen mit dem Gedanken getragen, auf eine Threadripper Platform zu wechseln, aber die lahme Geschwindigkeit der 1. Generation und die hohen Preise bzw Nicht-Verfügbarkeit der 2. und 3. haben mich wieder abgeschreckt.
Ja leider treibt AMD die Preise mit unnötigen Chipsätzen enorm in die Höhe. Selbst die "neuen" Threadripper Pro 3000, welche einfach nur EPYC CPUs mit höherer TDP und Taktrate sind, benötigen plötzlich einen Chipsatz, der das System teuer und super ineffizient, vor allem im Idle, macht.
AMD hat sich leider viel bei Intel abgeschaut.
Zudem sind Threadripper CPUs nicht fürs Gaming geeignet.
Ich habe ein paar systematische Experimente gemacht und dokumentiert.
Fazit: Mit dem Asus Board ist vernünftiges Arbeiten nicht möglich, und zwar unabhängig von Bifurcation, wie Test 5 und 6 zeigen: hier wird die RX6800 im zweiten Slot gar nicht erkannt, obwohl es eigentlich keinen Grund gibt.
Daher werde ich das Board rausschmeissen und mir ein Asrock X570 holen. @peterX Da Dein Board auch Asrock ist, hoffe ich, dass die BIOS Qualität ähnlich hoch ist wie bei Deinem. @KI v0.8.2 Wie gesagt, im meinem BIOS gibt es nur die zwei Optionen Auto oder RAID
Mal ne andere Frage. Welche Möglichkeiten seht ihr, Karten, die per Riser angedockt werden, mechanisch zu befestigen.
Selbst bei einem grossen E-ATX Gehäuse wie dem meinem, wo es drei freie Slots neben dem ATX Mainboard gibt, ist das nicht ideal, weil die Riserplatinen gegenseitig und mit dem Board kollidieren, und es eh nicht genug Slotdurchbrüche sind. Gibt es da Speziallösungen, die ich übersehen habe?
RAID? Du willst doch keine Festplatten in einem RAID zusammenhängen, sondern die PCIe Lanes konfigurieren 🤔
Kana_x schrieb:
Mal ne andere Frage. Welche Möglichkeiten seht ihr, Karten, die per Riser angedockt werden, mechanisch zu befestigen.
Selbst bei einem grossen E-ATX Gehäuse wie dem meinem, wo es drei freie Slots neben dem ATX Mainboard gibt, ist das nicht ideal, weil die Riserplatinen gegenseitig und mit dem Board kollidieren, und es eh nicht genug Slotdurchbrüche sind. Gibt es da Speziallösungen, die ich übersehen habe?
Das Problem ist, dass solche Gehäuse nur für eine "gerisedte" Karte gebaut werden. Abhilfe wird in dem Fall nur ein Mining Rig liefern oder du nutzt nur ein Riser Kabel und die anderen GPUs werden normal aufs Mainboard gesteckt.
So wie es aussieht unterstützt deine Riserkarte nur PCIe <=2.0.
Ich könnte mir auch vorstellen, dass die Mischung aus Nvidia und AMD Karten Probleme macht.
Warum die RX6800 in Slot 2 nicht erkannt wird ist mir allerdings ein Rätsel.
Was spricht eig. gegen folgende Konfiguration direkt auf dem Mainboard:
Slot 1: RX6800
Slot 2: RX580
Slot 3: GT710
-> Sollte die geringsten Probleme liefern, da beide AMD Karten direkt an der CPU hängen und die Nvidia Karte über den Chipsatz verwaltet wird.
EDIT: Wenn Bifurcation aktiv ist wird wahrscheinlich Slot 2 deaktiviert. Im Handbuch steht dazu leider nichts.
Das stimmt, das ist aber die einzige Möglichkeit, die das Asus Board in diesem Zusammenhang bietet. Hintergrund ist diese spezielle Asus Risercard mit 4 M.2 Slots, die damit unterstützt werden soll: https://www.amazon.com/Asus-Hyper-M-2-x16-Card/dp/B0753JTJTG
KI v0.8.2 schrieb:
Das Problem ist, dass solche Gehäuse nur für eine "gerisedte" Karte gebaut werden. Abhilfe wird in dem Fall nur ein Mining Rig liefern oder du nutzt nur ein Riser Kabel und die anderen GPUs werden normal aufs Mainboard gesteckt.
So wie es aussieht unterstützt deine Riserkarte nur PCIe <=2.0.
Ich könnte mir auch vorstellen, dass die Mischung aus Nvidia und AMD Karten Probleme macht.
Warum die RX6800 in Slot 2 nicht erkannt wird ist mir allerdings ein Rätsel.
Was spricht eig. gegen folgende Konfiguration direkt auf dem Mainboard:
Slot 1: RX6800
Slot 2: RX580
Slot 3: GT710
-> Sollte die geringsten Probleme liefern, da beide AMD Karten direkt an der CPU hängen und die Nvidia Karte über den Chipsatz verwaltet wird.
Leider nein, der dritte Slot ist für eine 10GB Netzwerkkarte vorgesehen, und für die passt die x4 PCIe 3.0 Anbindung quasi perfekt. (Edit: die würde auch in einen x4 Riserslot passen, wenn das denn mal funktioniert).
Ausserdem möchte ich die GT 710 als Bootkarte drinhaben (also ist Slot 1 ein Muss), weil diese einem Linux-Host dienen soll, während die beiden anderen via Passthrough an virtuelle Maschinen vergeben werden sollen.
Ja, ich gebe zu, etwas ungewöhnlich 🙈😅
KI v0.8.2 schrieb:
EDIT: Wenn Bifurcation aktiv ist wird wahrscheinlich Slot 2 deaktiviert. Im Handbuch steht dazu leider nichts.
So, also was soll ich sagen.. Nachdem das Asrock Board da ist (X570 Phantom Gamer X) und ich damit die nächsten Versuche gemacht habe, kommen fast perfekte Ergebnisse bei raus.
Erste Hürde:
Ich bin davon ausgegangen, dass die Bifurcation Einstellung im BIOS für je einen Slot ist. Nachdem es nur eine Einstellung gibt, dachte ich, dass man nur den ersten bifurcatorieren (oder so kann. Dem ist aber nicht so, die eine Einstellung bezieht sich auf beide. Nachdem ich das herausgefunden hatte, habe ich auf x4x4 x8 gestellt (@peterX diese Einstellung gibt es bei Dir nicht, da haben die wohl was zum Positiven geändert).
Damit läuft eigentlich alles wie es soll:
Alle drei GraKas werden erkannt und laufen unter Windows. Auch die Bootreihenfolge ist so wie gewünscht/erwartet: Die beiden im bifurcorierten Slot 1 sind die ersten, auch innerhalb stimmt die Reihenfolge entsprechend der Stecker, die im Slot 2 ist die dritte.
Unter der Haube scheint es grössere Probleme mit der Anbindung zu geben, also dass die GraKas mit angezogener Handbremse gefahren werden (mit kleinerem PCIe Standard oder mit weniger Lanes).
Ich konnte hier aber mit Experimenten fast überall erreichen, dass die GraKas bei Belastung wieder hochgeschaltet werden, damit fährt dann die RX580 auch mit den erwarteten PCIe 3.0 x4, auch wenn sie anfänglich nur mit PCIe 1.1 x1 gestartet ist (dass man von x1 auf x4 hochschalten kann, finde ich seltsam, das muss ich nochmal prüfen).
Der Slot 2 mit der RX6800 lief bisher in jedem Fall von Anfang an mit der erwarteten Höchstgeschwindigkeit von PCIe 4.0 x8.
Hier noch ein paar Worte dazu, wie ich da GraKa zum Hochschalten bekommen habe, das war gar nicht so einfach. Laut GPU-Z gehen die GraKas gerne in den Schlafmodus, wenn sie nicht benutzt werden. Dafür ist dann extra ein Rendertest eingebaut, der die Karte belastet. Der Witz ist, dass man natürlich im Hinterkopf haben muss, auf welchem Bildschirm das Renderfenster läuft (habe drei Monitore an je einer Karte angeschlossen). Ich konnte durch Verschieben des Fensters in einen Monitor erreichen, dass die ansteuernde Karte den PCIe Modus hochgeschalten und beim Rausbewegen des Fensters wieder zurückgeschalten hat.
Der noch grössere Witz ist aber, dass das irgendwann auch nicht mehr geklappt hat.
Die einzig zuverlässige Methode zum Testen war, das Tab "Leistung" des Windows Taskmanagers zu öffnen und dort die Auslastung der GPUs zu beobachten. Dann sieht man, dass irgendwann das Renderfenster von einer anderen Karte berechnet wird. Um die Berechnung auf der einen Karte zu erzwingen und damit das Hochschalten in den PCIe-Maximalmodus zu erzwingen, bleibt dann nur noch das Deaktivieren der anderen im Taskmanager.
Die RX580 konnte ich mit dieser Methode an das erwartete Maximum kitzeln, die GT710 verbleibt aber auf PCIe 2.0 x2, obwohl sie in diesem Slot PCIe 2.0 x4 können sollte.
, würde ich es an Deiner Stelle mit zwei Riserkarten x8 -> x4x4 versuchen (
