PCIe Bifurcation x4/x4 (Asus Z690-F Gaming Wifi)

[Unti]

Hi Leute,

ich hab mal eine kurze Frage und zwar zur Ausgangslage:
Habe ein Z690-F Gaming Wifi Board von Asus.
Drauf läuft mit dem i9 ein Windows Server.
Hyper-V wird genutzt als Hypervisor + zusätzlich VMWare Workstation auf der selben Maschine.
Benötige in einigen VMs bzw. eig. nur in einer USB Geräte, die dauerhaft eingebunden sind - auch nach Neustarts und am besten auch neue Geräte ohne zutun auf dem Host.
Sprich einstecken, in der VM und gut ist. Ich will aber nicht den kompletten USB3.0 Controller rüberschieben, weil im Host auch noch einige USB Geräte angebunden sind.
Jetzt war meine Idee ich pack mir eine USB3.0 Erweiterungskarte mit 4 Ports oder so rein und gut ist, aber leider gehen mir die PCIe Slots aus.

Im G5 Slot steckt eine 3050 für Plex, der ist voll belegt.
G3 x1 steckt eine IPMI iKVM Karte von Asus, auch belegt.
In G3 x16 steckt derzeit eine x4 angebundene Netzwerkkarte.

Nein meine Frage:
Der Slot G3 x16 kann ja PCIe Bifurcation, aber ich hab so noch nie benutzt bzw. mir noch nie genauer angeschaut.
Heißt das funktional, dass ich den Slot quasi "splitten" kann auf x4/x4?
Heißt 8 Lanes hat der Slot?

Heißt ich könnte so eine Karte nutzen:
Link

Und dazu eine USB 3.2 Karte und diese dann in VMware Workstation direkt in die VM übergeben:
Link

Würde die obere Karte in den x16 Slot packen und beide anderen via Riser Kabel dann an den Slot am Gehäuse hängen.

Eine weitere Frage die ich mir stelle ist, ob mir dann die Lanes über Chipsatz an die CPU reichen (14900KF).
Derzeit sind M2_1, M2_2, M2_3 mit NVMes + 1x SATA belegt.

Jemand Erfahrungen damit und kann mir sagen ob das realisierbar wäre?

Danke mal!

 

[Ray519]

Der Slot G3 x16 kann ja PCIe Bifurcation, aber ich hab so noch nie benutzt bzw. mir noch nie genauer angeschaut.
Heißt das funktional, dass ich den Slot quasi "splitten" kann auf x4/x4?

Nein. Der Port besteht einfach aus 2 getrennten x4 Root Ports. Die können ausschließlich getrennt verwendet werden. NIE als ein einziger x8 Port.

Also ja getrennt. Aber nicht "Bifurcation" von einem größeren Port.

Heißt ich könnte so eine Karte nutzen:
Link

Wenn die 2 x4 Ports aligned währen mit x4 ungenutzt dazwischen dann ginge das. Ich glaube aber nicht dass die so aligned sind.

Jap, wenn man sich die Asus Karte die dazu passt an sieht, hat die die ersten 8 Lanes angeschlossen.

Deshalb kannst du mit der ASUS 2x NVMe Karte die dazu gehört auch nicht mit 2 NVMes im CPU-Slot nutzen. Weil der Bifurcated nur in x8+x8. Und nicht in x4+x4+x8.

Ergänzung (19. März 2024)

Eine weitere Frage die ich mir stelle ist, ob mir dann die Lanes über Chipsatz an die CPU reichen (14900KF).

Die Verbindung zwischen Chipsatz und CPU kannst du mit PCIe x8 Gen 4 rechnen.

Je nachdem wie das durchreichen von PCIe Geräten an VMs geht können da noch weitere Limits auftauchen (-> IOMMU Groups) die passen müssen, damit das hardwarebeschleunigt gemacht werden kann. Ka was Hyper-V da kann oder macht.

 

[Unti]

Nein. Der Port besteht einfach aus 2 getrennten x4 Root Ports. Die können ausschließlich getrennt verwendet werden. NIE als ein einziger x8 Port.

Also bedeutet jetzt physikalisch gesehen (von links vom Slot gesehen - x4 Lanes - Cut - x4 Lanes - restlichen x8 sind einfach nicht vorhanden?
Nur dass ich mir das im Kopf korrekt vorstellen kann.

Wenn die 2 x4 Ports aligned währen mit x4 ungenutzt dazwischen dann ginge das. Ich glaube aber nicht dass die so aligned sind.

ok das heißt ich bräuchte eine X4X4X4X Karte, also sowas?
Finde leider keine x4x4 Karte
Wird eng mit dem Platz, hmm.

Deshalb kannst du mit der ASUS 2x NVMe Karte die dazu gehört auch nicht mit 2 NVMes im CPU-Slot nutzen. Weil der Bifurcated nur in x8+x8. Und nicht in x4+x4+x8.

Was meinst du mit 2NVMes im CPU Slot genau?
In dem Konfigurations Schaubild steht ja auch im X4/X4 Mode beim x16 G3 Slot müssten die NVMes auf dem Board auch noch weiterhin angebunden werden.
Sprich wenn ich mal den M2_4 noch belege, dann müssten alle 4 NVMes theoretisch noch angebunden werden, oder bin ich da komplett falsch?

Ka was Hyper-V da kann oder macht.

Ja Hyper-V bietet ja kein direktes Device Passthrough, ich nutzte es nur für Dienste VMs etc., welche ich mit Veeam B&R richtig wegsichern kann.
Für solche anderen Sachen nutze ist VMWorkstation parallel mit. Gehen ja zum Glück mehrere Hypervisors in den aktuellen Server 2019/2022 Builds...
Versuchen kann ich es ja mal, wenn irgendwas nicht mehr korrekt erkannt wird muss ich leider immer auf den Host und das Gerät manuell binden und gut wäre, aber man will es ja möglichst bequem haben.

 

[Ray519]

(von links vom Slot gesehen - x4 Lanes - Cut - x4 Lanes - restlichen x8 sind einfach nicht vorhanden?

Jup.
Die Lanes sind immer getrennt. Also da unterscheidet sich nichts in der Verkabelung zu einem x8 Port.
Hängt nur davon ab an welchen Controller diese Lanes gehen. Weil du brauchst einen Controller der die Lanes zusammen managed.

Bifurcation heißt nur, da sind mehr Controller vorhanden als es "Ports" gibt. Und Muxes um die Lanes entweder an den größeren Controller (mit zB 8 Lanes) zu leiten. Oder die hinteren 4 Lanes zu einem Reserve Controller.

Das PCIe Root Ports (= Controller) mit weniger Lanes klar kommen müssen ist ja schon im Standard für die Rückwärtskompatibilität vorgesehen.

Die Intel Chipsätze haben einen Haufen an Root Ports, aber die können alle maximal x4. Und es gibt nicht genügend Root Ports im Chipsatz um alle Lanes jeweils als x1 Port anzubieten. Aber dazwischen sind die Intel Chipsätze sehr flexibel.

Deshalb können die modernen Intel CPUs auch nicht unterhalb von x8 bifurcaten. Um einen x16 Port bis runter zu x4+x4+x4+x4 zu bifurcaten bräuchtest du einen x16 Controller, einen x4 Controller, einen x8 Controller (die 2. Hälfte wenn als x8 genutzt, wie aktuell vorhanden) und noch einen x4 Controller für die letzten x4. Und entsprechend viele Switches / Muxes auf dem Pfad von vielen der Lanes, wo Gen 5 sowieso schon relativ kritisch ist.

Und einen Großteil dieser PCIe Root Port Controller wären ungenutzt. Oder einen Großteil der Lanes die sie können sind ungenutzt.

Ergänzung (19. März 2024)

ok das heißt ich bräuchte eine X4X4X4X Karte, also sowas?
Finde leider keine x4x4 Karte

Ja. Wenn du eh Riser nutzt, die Asus Karte die zu dem Board gehört ist x4+x4+_____ auf einem x16 Format für 2 M.2 Slots. DIe Karte war bei meinem Maximus Hero Z690 dabei. (ROG Hyper irgendwas card..)

Sprich wenn ich mal den M2_4 noch belege, dann müssten alle 4 NVMes theoretisch noch angebunden werden, oder bin ich da komplett falsch?

Ich habe das Manual von deinem Board nicht so genau durchgelesen. Der Z690 Chipsatz hatte schon viele Ports und Lanes.

Oder besser:

Das ist was die Mainboards machen können. Solange das passt, gibt es keine Gründe am Mainboard zu zu zweifeln.

 

[Unti]

Ok, dann müsste das ja von der Anbindung her passen.

Ja. Wenn du eh Riser nutzt, die Asus Karte die zu dem Board gehört ist x4+x4+_____ auf einem x16 Format für 2 M.2 Slots. DIe Karte war bei meinem Maximus Hero Z690 dabei. (ROG Hyper irgendwas card..)

Hab mir die Karte mal angeschaut, die hat ja 4x M.2 Slots, kann bei dem letzten Slot auf deinem Hero dann 2x M.2.
Aber was meinst du, wenn ich "eh Riser nutze" - kann man von einem M.2 direkt auf einen PCIe x4? Also mit so einem Ding?

Ansonsten ist mir das Teil etwas zu groß bzw. überladen und auch etwas teurer, für das, dass ich 2 M.2 Slots eh nicht nutzen kann.
4x NVMe übers Board reichen mir denke ich auf Dauer auf jeden Fall aus, dann wird eben iwann mal die NVMe gegen was größeres getauscht.

Ich hätte jetzt folgende 3 Sachen mal ausprobiert:
x4x4x4x4 Card
Riser 90° Adapter x4 to x4 (2x - für USB Steckkarte und Netzwerkkarte)
USB-Steckkarte

Netzwerkkarte ist diese da mit x4 Lanes.

Dürft ja hinhauen oder? also sofern ich das irgendwie verkabelt bekomme - im Gehäuse ist nach unten noch 2 Slots platz und mit Low Profile Slot-Aufsätzen komm ich vom Board auch dann weg und kann die noch irgendwie an die Riser Adapter stecken^^. Wird aber echt eng.

So wie ich das aber sehe müsste ich dann aber eben durchprobieren bei der x4x4x4x4 Karte, welche Lanes da nun "durchgeschleift" sind von meinem Slot, könnte also passieren, dass der erste oben geht, der zweite nicht und der dritte wieder und der 4te wieder nicht?
Richtig?

Danke auf jeden Fall @Ray519 für die ausführliche Erklärung und Hilfe!

 

[Ray519]

"eh Riser nutze"

Ob man von einem ausgewachsenen x4 Slot mit Kabel zu einem anderen x4 Slot verlängert oder von einem M.2 x4 Slot ist egal. Elektrisch was PCIe angeht gleich. Nur die Stromversorgung ist anders meine ich. Die Lanes selbst gehen da genauso durch.

Und bei meinem Board war explizit nur eine Karte mit 2 M.2 Slots dabei, weil das Board keinen einzigen Slot hat in dem man mehr als das nutzen könnte. Aber klar, mehr Slots schaden nur dem Preis, nicht der Funktion.

x4x4x4x4 Karte, welche Lanes da nun "durchgeschleift" sind von meinem Slot, könnte also passieren

Das sollte sehr berechenbar sein. Wir wissen ja die Lanes werden von Links gezählt. Alles will immer die kürzesten Leitungen. Und Lanes zu einem Slot sollten möglichst die gleiche Länge haben.
-> bei 4 M.2 Slots werden die genau in der Reiheinfolge wie sie nebeneinander sind an den Lanes vom x16 Slot hängen.

Und ein Controller kann mit Geräten mit weniger Lanes auch von Links aus arbeiten.

Also im CPU Slot der nur bis x8+x8 runter geht würden mit so einer Karte der erste und der dritte Slot gehen.
Im unteren x4+x4 Slot die ersten 2.

Kann man auch ein wenig verifizieren, weil die älteren Intel CPUs (vor Gen 5 PCIe) könnten x8+x4+x4 Bifurcation. Und es gibt da von Asus Tabellen wie du dann die HyperCard Teile mit 4 M.2 Slots nutzen kannst. Dann wird schnell klar, dass die einfach immer der Reihe nach angebunden sind.

Und bei deinem großen x16->x4+x4+x4+x4 Adapter kannst du ja die Leiterbahnen der Lanes klar verfolgen wo die hingehen. Ist im Produkfoto schon ersichtlich.

 

[Trambahner]

Intel kann den 16er Slot generell nicht mehr in vier x4 aufteilen, können die aktuellen Plattformen nicht.
=> Da geht nur x16 oder in zwei 8er in dem G5-Slot. Und das auch nur, wenn es das Bios kann.
Steckst Du eine Karte mit vier M2 Slots in den G5-Slot, sind zwei Anschlüsse tot und 8 Lanes verschenkt.
Nur ältere Intel-Plattformen konnten x8x8x4.

x8x4x4 (und x4x4x4x4 bei non-APUs) des 16er Slots kann nur AM4+AM5

x4x4x4x4 geht bei Intel nur, wenn eine Karte mit PLX-Chipsatz oder ähnlich (also PCIe-Multiplexer) genutzt wird. > teuer und stromhungrig.

Ich seh grad, Ray519 hat schon gut erklärt. :-)

 

[Ray519]

Und nur fyi, eh es gar nicht erwähnt wird: Stecker und Leitungslänge schadet natürlich der Signalqualität. Ohne explizite Verstärkung (= ReDriver oder ReTimer) gibt es da keine Garantien wie weit man verlängern kann, bis es gar nicht mehr geht oder nur instabil geht.
Je schneller desto kürzer. Aber Gen 3 geht ja erfahrungsgemäß mit Oculink und eGPUs ein ganzes Stück.

 

[Unti]

Super, danke euch mal, ich probier mich dann mal dran, in 1-2 Wochen weiß ich dann ob alles gelaufen ist oder nicht