Wie kommst du denn darauf, dass die 8 Lanes am PCH nicht auch den LAN-Chip bedienen müssen? Seit dem P55 und davor auch beim ICH6/7/8 hat Intel zwar einen GbE-MAC im ICH/PCH, der dazugehörige PHY (beim Z87 z.B. i217V) nutzt aber einer der PCIe-Lanes, die dann auf 100MB/s (oder 125MB/s?) gedrosselt wird, also derade ausreichend für GbE. Nur der ICH9/10 hatten eine eigene Verbindung für den PHY.
Deshalb hat man auf Intel-Boards auch lange Zeit so gut wie nie deren PHYs verwendet, weil komplette NICs von Realtek, Marvell oder Broadcom offenbar immernoch günstiger waren. Wobei AMD seit der SB850 auch einen integrierten MAC für eine bestimmte Broadcom-PHY mit einer eigenständigen Verbindung hat, die aber noch nie genutzt wurde.
Erst zuletzt sieht man bei Intel verstärkt den Einsatz der PHYs, angefangen bei teureren Asus-Boards mit P67/Z68, beim Z77 dann auch einige Gigabyte und mittlerweile fast alle guten Boards, wenn sie nicht für Gamer-Kiddies auf den Killer-NIC setzen.
Ich gebe dir zwar eigentlich Recht, dass 90% der Nutzer die je 6 SATA-6Gb/s- und USB3.0-Ports aktueller Boards rechen dürften, aber wie man sieht bekommen ja trotzdem viele Boards noch mindestens je einenen Zusatzcontroller, teuere Boards sogar oft mehr.
Da dann auch oft 2-3 PCIe x1-Ports und dann möglichst noch ein x4-Port versorgt werden müssen, reichen die 8 Lanes hinten und vorne nicht, wenn jetzt auch noch 2 Lanes für M.2 abgezwackt werden (was ja noch wenig ist, M.2 unterstützt bis zu 4 Lanes, am besten noch Gen3, also sind wir mit max 1GB/s noch deutlich hinter den theoretisch möglichen ~4GB/s zurück). Also ein sehr halbgarer Start, der uns kaum voranbringt, zumal nach den ersten Tests das praktische Maximum unter 800MB/s zu liegen scheint.
Bisher konnte auf Boards mit nur einigen Zusatzchips oft ein PCIe-Switch eingespart werden, indem man sich zwischen Zusatzchips und PCIe-Slots wechseln konnte, was auch keine gute Lösung ist (kein Wunder, das Asrock so viele PCI-Slots verbaut, die teilen sich ja alle eine Lane). In Zukunft werden wir noch mehr Switches sehen, nachwievor wohl oft mit nur 1-2 Lanes an den PCH angebunden.
Thunderbolt hat übrigens ähnliche Probleme, ist ja im Prinzip auch 2xPCIe2.0, demnächst 4x.
Trotzdem finde ich es immer wieder übertrieben, den DMI als Flaschenhals auszumachen. Ja, mit seinen 2GB/s pro Richtung ist der schon voll, wenn man ein RAID aus vier aktuellen SSDs hat oder vier SSDs an SATA 6Gb/s oder USB3.0 gleichzeitig betreibt. SATA- und USB-Controller an PCIe-Switches zeigen, wie schnell man viel Bandbreite anhäufen kann.
Aber wie oft betreibt man genug Geräte gleichzeitig, um auf 2GB/s zu kommen? Und dann bleibt immernoch die Frage, wie oft müssen diese gleichzeitig mit der CPU oder GPU bzw. dem Speichercontroller kommunizeren? Denn dies sind die einzigen Dinge jenseits des DMI, ansonsten können alle am PCH angebundenen Geräte auch untereinander kommunizieren.