Verständnisfrage zur Verteilung der PCI-E Lanes auf aktuellen Z97 Boards....

[Skyracer310]

Hallo,

habe mich mal ein wenig mit der Verteilung der PCI-E Lanes auf den aktuellen Boards beschäftigt.

Kann es möglich sein, dass auf den Z97 Boards, die folgende Belegung schlicht nicht möglich ist:

PCI-E1 @X16: 1 GPU
PCI-E2 @X16: -
PCI-E3 @X4: Dual Netzwerkkarte oder Raid Controller
PCI-E4 @X1: Soundkarte

(Später soll PCI-E1 und PCI-E2 je mit @X8 und zwei GPUs genutzt werden.)

Das Problem ist, dass der PCI-E1 auf 8x geschaltet wird, sobald der PCI-E3 belegt wird, obwohl der PCI-E2 nicht belegt wurde. Dies soll aber eigentlich erst eintreten, wenn ich PCI-E2 mit einer zweiten GPU belege. Zudem werden auf den meisten Boards die PCI-E @x1 Slots abgeschaltet, sobald drei PCI-E Steckplätze belegt wurden.

Siehe z.B. Spezifikationen GA-Z97X-Gaming 7 http://www.gigabyte.de/products/product-page.aspx?pid=4959#sp

oder dem Asus Z97-Pro http://www.asus.com/de/Motherboards/Z97PRO/specifications/

Nach meinen Recherchen sollte das mit Boards der C226 Chips Serie und mit der Konfiguration 2x PCI-E 3.0 / 1x PCI-E 2.0 aber möglich sein.

Siehe z.B. Spezifikationen Asus P9D WS http://www.asus.com/de/Commercial_Servers_Workstations/P9D_WS/specifications/

oder dem Asrock Rack C226 WS http://www.asrockrack.com/general/productdetail.asp?Model=C226 WS#Specifications

Sehe ich das richtig oder habe ich hier einen Denkfehler?

Gruß

 

[HominiLupus]

Die x1 Slots werden ganz sicher nicht abgeschaltet. Wäre auch totaler Humbug da diese am PCH hängen, deine X16,X8 und X4 Slots aber an der CPU.
C226 und die Series 8 und 9 Chipsätze haben alle die gleiche Anzahl an PCIe Lanes: 16x 3.0 von der CPU und 8x 2.0 vom PCH.

 

[Jasmin83]

das verstehst du falsch.

PCIe1 wird auf x8 geschaltet, sobald PCIe2 belegt wird, alles andere ist ja total sinnlos.

dazu kommt noch: kauf dir gleich eine vernünftige gpu und versuch nicht irgendwann mal CF auf dieser platform.. für cf/sli nimmt man sockel 2011 mit 16/16 lanes, um die gpu power wirklich zu nutzen.

die 290x und die 780ti schaffen beide ohne probleme 5760x1080px.

 

[Plaste]

Wenn die CPU nur 16, 18 oder 20 Lanes bereitstellt, wird jede Steckkarte die dazukommt automatisch die Neuverteilung erzwingen.

Das ist mit PCIe (2.0)3.0 aber nicht weiter tragisch, die Lanes werden "ge-switched", also zwischen den anfordernden Karten direkt verschaltet. Das ist kein Hub mehr wie es bei PCI noch war, wo sich alle die gleiche Ressource teilen müssen.

 

[Skyracer310]

Ich bleibe mal beim Beispiel vom Gigabyte GA-Z97X-Gaming 7

Zitat aus den Spezifikationen:
1.
1 x PCI Express x16 slot, running at x16 (PCIEX16)
* For optimum performance, if only one PCI Express graphics card is to be installed, be sure to install it in the PCIEX16 slot.

2.
1 x PCI Express x16 slot, running at x8 (PCIEX8)
* The PCIEX8 slot shares bandwidth with the PCIEX16 slot. When the PCIEX8 slot is populated, the PCIEX16 slot will operate at up to x8 mode.

3.
1 x PCI Express x16 slot, running at x4 (PCIEX4)
* The PCIEX4 slot shares bandwidth with the PCIEX8 and PCIEX16 slots. When the PCIEX4 slot is populated, the PCIEX16 slot will operate at up to x8 mode and the PCIEX8 will operate at up to x4 mode.
* When installing a x8 or above card in the PCIEX4 slot, make sure to set PCIE Slot Configuration (CPU) in BIOS Setup to x4. (Refer to Chapter 2, "BIOS Setup," "Peripherals," for more information.)
(The PCIEX16, PCIEX8 and PCIEX4 slots conform to PCI Express 3.0 standard.)

Der PCIEX16 wird auf 8x geschaltet, sobald PCIEX4 belegt wurde. Der PCIX8 wird dann sogar auf x4 geschaltet. Womit eine gewünschte @16x / @0x / @4x Belegung der drei PCIE Slots nicht möglich ist, da die Slots auf x8 / x4 /x4 geschaltet werden. Das Bord ist aber von dem erwähnten PCIEx1 Problem nicht betroffen.

Als nächstes habe ich mir das Gigabyte GA-Z97X-UD3H-BK angeschaut. Hier wäre zwar die gewünschte @16x / @0x / @4x Belegung der drei PCIE Slots möglich, ohne das die Bandbreite des PCIEX16 GPU Slots auf @8x reduziert wird, dafür werden bei der Belegung des PCIEX4 Slots aber alle PCIEX1 Slots abgeschaltet. Somit würde der gewünschte PCIEx1 für die Soundkarte fehlen.

Zitat aus den Spezifikationen:
1 x PCI Express x16 slot, running at x4 (PCIEX4)
* The PCIEX4 slot shares bandwidth with all PCI Express x1 slots. All PCI Express x1 slots will become unavailable when a PCIe x4 expansion card is installed.* When installing a x4 or above card in the PCIEX4 slot, make sure to set PCIE Slot Configuration (PCH) in BIOS Setup to x4. (Refer to Chapter 2, "BIOS Setup," "Peripherals," for more information.)

Somit wäre ist die gewünschte Bestückung der PCI-E Slots, bei diese beiden Beispielen auf Grund der PCI-E Lane Verteilung nicht möglich. Dies kann man auch gut in den Blockschaltbildern in den Handbüchern, jeweils auf Seite 8, nachvollziehen.

Bitte um Korrektur, wenn ich bei den beiden Beispielen falsch liege.

So zieht sich das von Board zu Board, von Hersteller zu Hersteller. Wobei Gigabyte das sehr vorbildlich in seinen Spezifikationen beschreibt. Bei anderen Herstellen muss man auf die Verweise zu den Fußnoten in den Spezifikationen achten oder sogar teilweise die Bios Einstellungen im Handbuch nachlesen, um die endgültige Verteilung der PCI-E Lanes zu erfahren. Meistens wird entweder der erste PCI_E X16 auf x8 reduziert oder die PCI-E x1 Steckplätze sind nicht mehr verfügbar, sobald der dritte PCI-E Slot belegt wird. Es kommt immer darauf an wie die PCI-E Lanes vom Hersteller verteilt werden. Manchmal kommt es auch einfach zu dem lapidaren Problem, das der verfügbare PCI-E x1 Slot durch die Dual-Slot Grafikkarte blockiert wird.

Bis jetzt konnte ich die gewünschte Bestückung nur auf den C226 Workstation Boards von Asus und Asrock Rack theoretisch verwirklichen. Muss aber auch dazusagen das ich mich noch nicht durch alle Z97 Board durchgearbeitet habe. Überlege eine Tabelle zu erstellen, auf welchen Z97 Boards eine X16/X0/x4/x1 bzw. x8/x8/4/x1 möglich wäre und bei welchen Boards es Einschränkungen geben würde.

Zum Thema CF/SLI ziehe ich die 2011er Plattform mit X99/C610 in Betracht, hier gibt es aber noch zu wenige Informationen, um vernünftig Systeme planen zu können.

Gruß

 

[oldmanhunting]

Finde das ein interessantes und wichtiges Thema!
Wollte mir eigentlich das ASUS ROG Maximus VII Gene kaufen.
Verbaut werden sollte eine GPU und eine TV PCI-E Karte, die ich in den x4 Slot stecken wollte (also nicht besonderes).
Jetzt sagen die Spezifikationen:
2 x PCIe 3.0/2.0 x16 (x16 or dual x8)
1 x PCIe 2.0 x4 *1
1 x mini-PCIe 2.0 x1

*1: The PCIe 2.0 x4 slot (PCIEX4_1) shares bandwith with mPCIe 2.0 x1 and M.2 slots. The default setting is in Auto mode that automatically optimizes the system bandwidth. If you install PCIe 2.0 x4 device, the system will automatically detect and disable mPCIe

Somit verliere ich mPCIe, wenn ich meine TV Karte stecke, was mir so richtig stinken würde, weil Lanes sind ja eigentlich genug da um alles was ich möchte auch zu realisieren.

 

[Skyracer310]

Das stimmt nicht so ganz, siehe auf Seite 1-26 PCIe operating mode und Bios Einstellungen vom PCI-E x4 Slot auf Seite 3-38 im Handbuch.

Die mPCIe wird erst abgeschaltet wenn entweder eine PCI-E 4X Karte eingesteckt wurde oder gleichzeitig der M.2 Slot belegt wurde.

So wie ich das in diesem Fall verstehe, kann eine PCI-E x1 Karte und der mPCIe Steckplatz genutzt werden, solange der M.2 Slot nicht auch belegt wird.

 

[Plaste]

Das sind aber schon heftige Einschnitte bei den PCIe Slots. Bei meinem Board muss ich nur auf den PCIeX1 Slot neben der Graka verzichten wenn ich den zweiten onboard Controller verwende. Und der Slot verschwindet ohnehin unter einer DualSlot-Graka.

Das aktuelle Boards so dermaßen daneben greifen, was die PCI-Lanes angeht, da muss man davon ausgehen die Hersteller bescheissen einen Hand in Hand. Getreu dem Motto, selber Schuld wer sich Mainstreamware kauft (gibt nur leider nix anderes)

 

[oldmanhunting]

Habe mich jetzt noch einmal etwas eingelesen und muss sagen, ich bin etwas enttäuscht.
Haswell hat ja nur 16 PCI-e 3.0 Lanes. Wenn man für die GPU x8 nehmen kann und dafür der X4, der mPCIe Steckplatz und der M.2 Slot funktioniert, dann lasse ich ja noch mit mir reden. 8 Lanes reichen der GPU ja und man merkt keinen Unterschied beim zocken.

Ich werde erst einmal gar nichts kaufen und warte Haswell-E ab. Der Core i7-5820K hat 28 Lanes und 2 Core mehr. Schon möglich, dass ich da besser aufgehoben bin.

 

[Plaste]

Und ich hab immer etwas neidisch auf die Leistung der Intel Prozessoren geschielt und kann jetzt froh das bei AMD zumindest genug Lanes da sind (40).

 

[bensen]

Das sind aber schon heftige Einschnitte bei den PCIe Slots.

Das passiert immer dann, wenn die Hersteller meinen auf einer mainstreamplattform eine Menge Schnickschnack unterbringen zu müssen und dafür dann horrende Preise zu verlangen.

Bei den x4 Slots gibts 2 Möglichkeiten entweder man nimmt die Lanes der CPU, dann hat man entweder x16/0/0 oder x8/x4/x4, Auch nciht richtig günstig. Oder man nimmt eben Lanes des PCH. Dann bleibt aber nichts mehr für andere Schnittstellen über.

Mal MikelMoltos Beispiel:
x4 Slot: 4 Lanes
NIC: 1
USB-Controller: 1
SATA-Controller: 1
mPCIe: 1
M2: 2

Macht 10 nötige Lanes bei nur 8 verfügbaren.
Da hat der Hersteller 2 Möglichkeiten. Entweder einzelne Schnittstellen werden abgeschaltet oder er verbaut einen PCIe-Switch.
Letzteres hat den Vorteil, dass alle Schnittstellen gleichzeitig verwendet werden können, aber mitunter bei Performanceeinbußen. Aber wenn der Hersteller es nicht übertreibt und sinnvoll aufteilt ist das meist die bessere Wahl, da mn selten alle Ports voll auslastet.
Gibt aber natürlich auch Beispiele wo die dann meinen an eine PCIe-Lane 4 Controller zu pappen, oder so.
Aber das GeneII ist ja nen wirklioch harmloses Beispiel, da gibts weit schlimmere.

Es sind mittlererweile einfach mehr Lanes nötig, auch bei der Mainstreamplattform. Und PCIe 3.0 wird auch zeit.
Aber AMD und Intel tuen da so gut wie nichts.
Wir bekommen weder M2, SATA-Express noch USB 3.5 gescheit angebunden. Bei SATA 6 Gbit/s sind ja auch schon 2 Lanes nötig, wenn man es vernünftig macht.

Und ich hab immer etwas neidisch auf die Leistung der Intel Prozessoren geschielt und kann jetzt froh das bei AMD zumindest genug Lanes da sind (40).

Naja, auch nur beim Sockel AM3(+) mit dem FX Chipsatz. Alle anderen Chipsets und Sockel stehen genaus so dämlich da.

 

[Skyracer310]

So, Spezifikationen von 101 Mainboards mit Z97, H97 und C226 Chipsätzen durchgearbeitet …

Folgende Konfigurationsmöglichkeit der Erweiterungskarten war die Zielsetzung für die Ausarbeitung:

PCI-E 1 @X16: Grafikkarte
PCI-E 2 @X16: -
PCI-E 3 @X4: Dual Netzwerkkarte oder Raid Controller
PCI-E 4 @X1: Soundkarte

Der Knackpunkt ist ganz klar der dritte PCIe X16 Slot, wenn dieser mit einer 4x oder größer Erweiterungskarte belegt wird.

Mittlerweile stehen für die ganzen Features auf den Boards, einfach nicht genug PCIe Lanes zur Verfügung. Für die meisten User werden die Entscheidungen der Hersteller in Ordnung sein, für einige wenige aber eben nicht!

Bei den folgenden Boards kann diese Bestückung ohne Einschränkung umgesetzt werden.

[TABLE="width: 1875"]
[TR]
[TD]Hersteller
[/TD]
[TD]Chipsatz
[/TD]
[TD]Mainboard
[/TD]
[TD]x16/x0/x4/x1
[/TD]
[TD]Bemerkung
[/TD]
[/TR]
[TR]
[TD]Asrock
[/TD]
[TD]Z97
[/TD]
[TD]Z97 Extreme9
[/TD]
[TD]ja *
[/TD]
[TD]PLX PEX Bridge Chip
[/TD]
[/TR]
[TR]
[TD]Asrock Rack
[/TD]
[TD]C226
[/TD]
[TD]C226 WS
[/TD]
[TD]ja *
[/TD]
[TD]PLX PEX Bridge Chip
[/TD]
[/TR]
[TR]
[TD]Gigabyte
[/TD]
[TD]Z97
[/TD]
[TD]GA-Z97P-D3
[/TD]
[TD]ja
[/TD]
[TD]Kein Lane Sharing auf den PCIe Slots
[/TD]
[/TR]
[TR]
[TD]MSI
[/TD]
[TD]Z97
[/TD]
[TD]Z97-G43 GAMING
[/TD]
[TD]ja
[/TD]
[TD]Kein Lane Sharing auf den PCIe Slots
[/TD]
[/TR]
[TR]
[TD]MSI
[/TD]
[TD]Z97
[/TD]
[TD]Z97 GUARD-PRO
[/TD]
[TD]ja
[/TD]
[TD]Kein Lane Sharing auf den PCIe Slots
[/TD]
[/TR]
[TR]
[TD]MSI
[/TD]
[TD]H97
[/TD]
[TD]H97 GUARD-PRO
[/TD]
[TD]ja
[/TD]
[TD]Kein Lane Sharing auf den PCIe Slots
[/TD]
[/TR]
[TR]
[TD]MSI
[/TD]
[TD]Z97
[/TD]
[TD]Z97M-G43
[/TD]
[TD]ja **
[/TD]
[TD]Two PCIe x1 slots cannot be used simultaneously. When installing an expansion card in one of pcie 2.0 x1 slots, another slot will be unavailable.
[/TD]
[/TR]
[TR]
[TD]MSI
[/TD]
[TD]H97
[/TD]
[TD]H97M-G43
[/TD]
[TD]ja **
[/TD]
[TD]Two PCIe x1 slots cannot be used simultaneously. When installing an expansion card in one of pcie 2.0 x1 slots, another slot will be unavailable.
[/TD]
[/TR]
[TR]
[TD]MSI
[/TD]
[TD]Z97
[/TD]
[TD]Z97 XPOWER AC
[/TD]
[TD]ja ***
[/TD]
[TD]PCIe x16 Slots müssten in der folgenden Konfiguration x16/x0/x0/x8/x8 betrieben werden. (keine genauen Informationen im Handbuch)
[/TD]
[/TR]
[/TABLE]


Bei sieben Boards werden teilweise die USB und/oder PCIex1, SATA Express, mPCIe, M.2 Schnittstellen abgeschaltet.

Bei 24 Boards werden der erste PCIe X16 Slot auf x8 und bei dem zweiten PCIe x16 Slot auf x4 geschaltet, weil eine X16/x0/x4 Belegung einfach nicht berücksichtig wurde. Die Bords schalten in den x8/x4/x4 Modus sobald der zweite oder der dritte PCIe X16 Slot belegt wird.

Bei 21 Boards werden die PCIex1 Slots komplett abgeschaltet, sobald der dritte PCIe x16 Slot mit einer X4 Erweiterungskarte belegt wird.

Bei 8 Boards werden die dritten PCIe X16 Slots von x4 auf X2 geschaltet, sobald einer der PCIe x1 Slots belegt wurde.

Bei zwei Bords mit zwei PCIe x16 Slots wird sogar auf 4x/4x geschaltet

Bei 30 Bords kann die Konfiguration nicht umgesetzt werden, weil die PCIe x1, PCIe x4 Slots fehlen oder die PCIe x1 Slots durch Dual-Slot Grafikkarten verdeckt werden.

Ein Lane Sharing bei den M.2, SATA Express und SATA Schnittstellen wurde bei dieser Ausarbeitung nicht berücksichtig, obwohl diese auch häufig eingesetzt wird. Mir ging es ausschließlich um die gewünschte Bestückung der PCIe Slots.

Fazit:
Ich warte auf den Haswell-E und die X99/C610 Chipsätze und werde mir das „PCIe Lane Sharing“ dann ganz genau anschauen. Ahne aber bereits anhand der ersten Informationen zur Haswell-E Plattform, dass Intel sich da nicht wirklich bewegen wird und die Board Hersteller wieder tricksen müssen….

 

[Plaste]

Solange von der CPU nicht mehr Lanes bereitgestellt werden, wird sich die Situation kaum ändern. Und der Chipsatz kann ja auch nur wenige Lanes anbinden und das für eher (zeit)unkritische Dinge.

---
Eine schöne Aufstellung hast du gemacht.

 

[HisN]

Fazit:
Ich warte auf den Haswell-E und die X99/C610 Chipsätze und werde mir das „PCIe Lane Sharing“ dann ganz genau anschauen. Ahne aber bereits anhand der ersten Informationen zur Haswell-E Plattform, dass Intel sich da nicht wirklich bewegen wird und die Board Hersteller wieder tricksen müssen….

Ich denke nicht, dass sich da groß was zu den "alten" X79-Chipsätzen ändert.

 

[Jasmin83]

Es ändert sich nichts, es sind weiterhin bei Haswell-E nur 40 Lanes vefügbar und das wars. immerhin ist 16/16 bei SLI möglich.

 

[Skyracer310]

Solange von der CPU nicht mehr Lanes bereitgestellt werden, wird sich die Situation kaum ändern. Und der Chipsatz kann ja auch nur wenige Lanes anbinden und das für eher (zeit)unkritische Dinge.

---
Eine schöne Aufstellung hast du gemacht.

Danke.

Die Tabelle habe ich mir von allen zur Zeit H97, Z97 und C226 Markt befindlichen Boards erstellt.

Ich denke nicht, dass sich da groß was zu den "alten" X79-Chipsätzen ändert.

Arbeite mich gerade in die 2011er Plattform ein, vermute aber auch das es nur wenig Unterschiede geben wird.

 

[oldmanhunting]

Das stimmt nicht so ganz, siehe auf Seite 1-26 PCIe operating mode und Bios Einstellungen vom PCI-E x4 Slot auf Seite 3-38 im Handbuch.

Die mPCIe wird erst abgeschaltet wenn entweder eine PCI-E 4X Karte eingesteckt wurde oder gleichzeitig der M.2 Slot belegt wurde.

So wie ich das in diesem Fall verstehe, kann eine PCI-E x1 Karte und der mPCIe Steckplatz genutzt werden, solange der M.2 Slot nicht auch belegt wird.

Habe jetzt auch noch einmal geschaut. Im Bios kann man folgendes einstellen:
Es hängt alles vom X4 Slot ab.

[Auto]
X4 läuft mit 2 Lanes, M.2 läuft mit 1 Lane, mPCIe läuft mit einer Lane. Wird in X4 eine X4 Karte erkannt, dann läuft die auch mit X4 aber M.2 und mPCIe wird deaktiviert.

[mPCIe x1 Mode]
X4 läuft mit 2 Lanes, M.2 läuft mit 1 Lane, mPCIe läuft mit einer Lane.

[M.2Mode]
X4 läuft mit 2 Lanes, M.2 läuft mit 2 Lane, mPCIe ist deaktiviert.

[X4Mode]
X4 läuft mit 4 Lanes, M.2 ist deaktiviert, mPCIe ist deaktiviert.

Somit stellt sich bei mir die Frage:
Kann ich von M.2 Booten und wenn ja, gebe ich dem 2 Lanes. Baue meine TV Karte in den X4 Slot und lasse mPCIe deaktiviert.

 

[Skyracer310]

Habe jetzt auch noch einmal geschaut. Im Bios kann man folgendes einstellen:
Es hängt alles vom X4 Slot ab.

[Auto]
X4 läuft mit 2 Lanes, M.2 läuft mit 1 Lane, mPCIe läuft mit einer Lane. Wird in X4 eine X4 Karte erkannt, dann läuft die auch mit X4 aber M.2 und mPCIe wird deaktiviert.

[mPCIe x1 Mode]
X4 läuft mit 2 Lanes, M.2 läuft mit 1 Lane, mPCIe läuft mit einer Lane.

[M.2Mode]
X4 läuft mit 2 Lanes, M.2 läuft mit 2 Lane, mPCIe ist deaktiviert.

[X4Mode]
X4 läuft mit 4 Lanes, M.2 ist deaktiviert, mPCIe ist deaktiviert.

Somit stellt sich bei mir die Frage:
Kann ich von M.2 Booten und wenn ja, gebe ich dem 2 Lanes. Baue meine TV Karte in den X4 Slot und lasse mPCIe deaktiviert.

Nach meinen Verständnis, sollte es mit der folgen Bios Einstellung klappen.

[M.2Mode]
X4 läuft mit 2 Lanes, M.2 läuft mit 2 Lane, mPCIe ist deaktiviert.

 

[Plaste]

Mikel, was braucht die TV-Karte? Da dürften doch nur komprimierte Datenströme laufen, die bleiben im Megabitbereich, oder? Da kannst du doch die Leistung abzwacken

 

[Skyracer310]

Mikel, was braucht die TV-Karte? Da dürften doch nur komprimierte Datenströme laufen, die bleiben im Megabitbereich, oder? Da kannst du doch die Leistung abzwacken

Klar, die Auto Einstellung im Bios sollte auch klappen, allerdings läuft der M.2 dann nur mit einer Lane. Die die TV-Karte dürfte ja keine x4 Karte sein oder?

Wichtig! Lanes werden erst beschnitten, wenn auch wirklich eine x4 oder größer Karte in den entsprechen Slot gesteckt wird. Bei x1 Karten kommt es im Allgemeinen nicht zu Einschränkungen.