Empfehlung für Netzwerk-Update (10Gbit)

[jb_alvarado]

Hallo mal wieder,
hier wurde ja schon ein paar mal 10Gbit diskutiert, hoffe es ist ok wenn ich das trotzdem noch mal anschneide.

An andere Stelle hatte ich schon erwähnt, dass ich einen Fileserver austauschen werde. Der jetzige hatte zwei ZFS Pools mit jeweils 12 SAS Platten per "mirror vDevs" zusammengebunden. Ans Switch war der Server mit 4x 1GBit angeschlossen.

Ein Pool wurde für Videoschnitt verwendet, wo 3-5 Leute drauf Zugriff hatten, in Zukunft sind es 5-8 Leute. Für gewöhnliche HD Projekte ist das noch ausreichend, bei 4K und größeren Geschichten sind wir aber schon an die Grenzen gestoßen. Im Zuge des Austausches möchte ich daher auch den Netzwerkspeed erhöhen. Der neue Server wird eine hybrid Lösung sein, das heißt er wird ein AllFlash Pool mit U.2s haben und einen Expander mit 12x SAS HDD Platten für den zweiten Pool. Werde erst mal nur 6 U.2s einbauen, wieder gespiegelt, also habe ich ca. 3fache Geschwindigkeit.

Der Server hat aktuell 2x 10Gbit RJ-45 Ausgänge, hat aber auch noch Platz für 2 zusätzliche PCIe Karten. Mein Plan war ursprünglich, Anfangs nur diese beiden RJ-45 zu verwenden und später vielleicht noch mal eine 4x 10Gbit RJ-45 Karte einzubauen und damit ans Switch zu gehen. Als Switch hatte ich den Aruba Instant On 1960 ausgesucht. Wir haben schon zwei 1930, die würde ich dann mit SFP+ an diesen hängen.

Mit 10Gbit habe ich mich aber erst jetzt näher beschäftigt und je mehr ich lese und mir anschaue, desto unsicherer werde ich, ob das später alles so klappt (und "zukunftssicher" ist) wie ich mir das vorstelle... Über 10Gbit per RJ-45 wird zum Teil sehr negativ gesprochen: es verbraucht zu viel Strom, es gibt zu viel Wärmeentwicklung, Abschirmung kann Probleme machen, etc. Komplett neue Verkabelung halte ich allerdings für unrentable, bis das Geld durch Stromersparnis wieder drin ist würden Jahre vergehen. Generell sollte unsere Verkabelung 10Gbit unterstützten, werde das aber noch mal die Tage verifizieren wenn ich zwei Karten vorliegen habe.

Ob wir dauerhaft damit zufrieden sein werden, den Server nur mit 2 bzw. später 4x 10Gbit RJ-45 anzubinden, kann ich jetzt noch nicht abschätzen. Von SFP+ zu RJ-45 Tranceiver wird ja auch abgeraten, daher tue ich mich schwer damit einen reinen SFP+ Switch zu ordern. Von HP gibt es noch den FlexFabric 5700, der ist eigentlich ziemlich genial, abgesehen vom Stromverbrauch, nur leider zu teuer. Da könnte ich vielleicht die beiden 2x QSFP+ für den File Server verwenden und über die SFP+ meine anderen Switches dran hängen.

Was würdet ihr hier Empfehlen? Wie sind eure Erfahrungen mit 10Gbit über RJ-45 Kabel? Wie würdet ihr den Fileserver anbinden?

 

[airwave]

Ich hab zwar keine Mitarbeiter wie du, aber habe mein privates Heimnetz entsprechend umgerüstet (eigenheim, 2 geschössiger keller + 3 stockwerke + dachgeschoss).

Gerade wegen Schirmung, blitzschutz, erdung,, biegeradien, stromverbrauch usw. bin ich auf glasfaser gegangen.
im keller eben transreciever für sfp+ zu glasfaser und in den jeweiligen stockerken ebenfalls.

dem switch ist ja egal ob da im sfp+ port n optisches oder 10GbE modul steckt.

auf den stockwerken selbst ist inzwischen cat8 verlegekabel drin wo es geht oder eben normale patchkabel die 10gb fähig sind (also schirmung/mhz usw).

fs.com ist ne gute anlaufstelle für so ein zeug

was zukunftssicher angeht: wenn sfp+ kannst auch multimode transreciever reinstecken die dann 40G können (optisch)

worauf ich hinaus will: du könntest die langen strecken einfach mit sfp+ singlemode duplex überbrücken, dann bruchst dir keine gedanken ginsichtlich CATx schirmung usw machen und kurze strecken lassen sich dann problemlos klassisch mit kupfer machen

https://www.fs.com/de/products/92099.html (1W energiebedarf, 10km reichweite)

PS: singlemodfiber kabel duplex kosten auch sehr wenig dort, weil du die neue verkabelung als kostenpunkt ansprichst:
https://www.fs.com/de/products/177394.html?attribute=709&id=1090027 50m netto 17€ die machen dir aber auch wunschlängen (ohne kranken aufpreis)

 

[jb_alvarado]

worauf ich hinaus will: du könntest die langen strecken einfach mit sfp+ singlemode duplex überbrücken, dann bruchst dir keine gedanken ginsichtlich CATx schirmung usw machen und kurze strecken lassen sich dann problemlos klassisch mit kupfer machen

Danke für deine Gedanken!

Das Problem bei uns ist, dass Kabel vom Keller (Serverraum) zu den Arbeitsplätzen im Erdgeschoss schon verlegt sind, denke die werden nicht 50m Länge überschreiten. Verlegt ist CAT7, Patchfelder sind CAT6.

 

[airwave]

Mhhh Cat7 KANN gehen, wenn die Kabel ordentlich geschirmt sind und 1000mhz fähig.
spezifikation sagt 600mhz und 100m mit 10G ABER muss direkt aufgelegt sein.

die dose, sofern darüber angeschlossen gibts glaube gar nicht in die richtung, müsste cat6a sein die haben aber 500mhz oder so.

von daher: bei solchen streckenmit "alten" cat7 kabeln und ohne zu wissen ob die kabel SAUBER aufgelegt sind (also auch schirmung/erde in der korrekten länge abisoliert beim auflegen) sehr wackelige geschichte.

die frage ist nämlich, solltet ihr das versuchen und es gibt störeinflüsse und die datenpakete haben dann crc fehler etc. dann kann das dazu führen, dass euer netzwerk instabiler und langsamer als in der bestehenden konfiguration läuft.


auch wenns doof klingt: systemhaus beauftragen und euch beraten lassen?

 

[DFFVB]

Also ich hab Zuhause auch 10 Gbit mit RJ45 - ja die werdne heiß, ja die ziehen Strom. Wenn man aber liest, wie oft Leute sich wundern, dass ihre SFP Karten auch heiß werden, dann frag ich mich immer ob die wirklich so viel wneiger Strom ziehen. dazu kommt halt dass SFP mE schnell ins Geld geht, für kurze / wenige Strecken okay, aber transceiver Kabel, Switche - aber klar ich nutze es Zuahuse zum Spaß, wenn man damit Geld verdient sind die von @airwave genannten Probleme auch nicht von der Hand zu weisen... in Hardwareluxx gibts nen extra 10 Gbit Stammtisch... kannst Idch gg auch dort einlesen

 

[whiper]

Solange die Kabel nicht zu lang sind, geht 10GE selbst über CAT5e und vom Stromverbrauch her ist das auch nicht so wild. Pro Port sind es 3W bei 10G gegenüber fast nichts bei 1G. Wenn die Verkabelung nicht völliger Schrott ist, einfach dabei bleiben, einen Umbau rein durch den Stromverbrauch wirst du nie finanzieren können

 

[airwave]

Solange die Kabel nicht zu lang sind, geht 10GE selbst über CAT5e

Und das geht dann paar Montage gut und plötzlich geht nichtsmehr wegen Schirmung und Frequenz, weil irgendwo n neues Gerät in Betrieb ging und jetzt stört.

Das mag im Freifeld gehen aber im Rack mit hunderten anderen Kabel, PoE, USVs, Telefonanlagen usw., dazu dann Kabelschächte, Biegeradien usw.

Warum sollte man so einen Mist fabrizieren, wenn du später 8 Leute oder mehr sich drauf verlassen müssen.
Cat6 würde in der Theorie 10G 37-55m schaffen unter absoluten spitzenbedingungen.
https://www.elektronik-kompendium.de/sites/net/1107311.htm

Sauber spezifiziert und freigegeben ist halt Cat7, cat5e würde in der theorie unter spitzenbedingungen ~22m schaffen aber PoE kannst dann vergessen.

Ich hab schon allein 15m vom Server/Switch als sauber verlegtes kabel bis zum kabelschacht (biegeradien bechten!)
bleiben dir noch 7m mit deinem cat5e um zum zielort zu kommen


"Einfach nur CAT6A- oder CAT7-Kabel zu verwenden, reicht für 10GBase-T nicht aus. Erschwerend kommt hinzu, dass auch die Bedingungen bei der Kabelinstallation eine große Rolle spielen. Hinzu kommen Maßnahmen, die sich durch die gesamte Installation ziehen müssen.
Der Betrieb von 10GBase-T auf CAT5e und CAT6a ist möglich. Aber nur mit Abstrichen bei der Reichweite. Wie weit genau, ist aber nicht spezifiziert. Im Einzelfall muss man das immer ausprobieren und nachmessen.

Nicht nur Fast- und Gigabit-Ethernet leiden unter Kopplungseffekte und Übersprechen. Insbesondere 10GBase-T leidet darunter, wenn bei der Installation unsauber gearbeitet wurde. Bei 10GBase-T dürfen sich die Kabel nicht zu nahe kommen. Andernfalls tritt erhöhtes Nebensprechen auf. Das Zusammenbinden der Kabelstränge mit Kabelbindern muss unterbleiben, weil die Kabel zusammengepresst werden und sich zu nahe kommen. Sowohl beim Verlegen als auch bei der festen Installation muss der Biegeradius eingehalten werden."

Edit: Das war dann der Grund gleich auf Glasfaser zu setzen

 

[jb_alvarado]

@airwave, sind diese Kabel, haben also 1000mhz. Was heißt denn "direkt aufgelegt"?

Werde noch mal mit der Firma Rücksprache halten, die uns die Kabel verlegt hat. Das war vor ca. 6 Jahren, hoffe doch, dass man da schon 10Gbit im Kopf hatte. Das Loch, wo die Kabel aus dem Serverraum rausgehen, ist leider auch nicht groß genug, um dort noch ein paar neue Kabel unterzubringen...

Kann man selbst das Netzwerk per Software zuverlässig auf CRC Fehler prüfen? Mit Wireshark, oder tcpdump z.B.?

 

[airwave]

Das ist schonmal vernüftiges kabel.

direkt aufgelegt ist gemeint über patchpanel dass für 10g freigegeben ist bzw. keystones die 10g können.
die meisten wanddosen (unterputz/aufputz) können kein 10g

fehler kanns viele geben im netzwerk: https://www.computerweekly.com/de/tipp/Haeufige-auftretende-Netzwerkfehler-und-die-Gruende-dafuer

ich hatte damals zum glück den telekomtechniker im haus ("klingeldraht" vom APL zur wohnung hatte störeinstreueung/fremdspannung) und hab dann vom apl cat8 gezogen zum serverraum im keller und dort ne TAE setzen lassen und der techniker war so nett mit seinen x-tausend € geräten mal mein zeug durchzumessen

 

[Able]

was zukunftssicher angeht: wenn sfp+ kannst auch multimode transreciever reinstecken die dann 40G können (optisch)

Nur um das richtigzustellen: Für SFP+ ist bei 10GbE Schluss und das hat auch nichts mit Multimode zutun. Was du vielleicht meinst ist QSFP+, das ist aber ein anderer Port.

 

[cloudman]

Vieleicht wäre der Mikrotik eine gute Option https://www.servethehome.com/mikrot...s-4x-100gbe-and-25gbe-desktop-switch-marvell/

 

[whiper]

Was ist denn überhaupt die Anforderung für jeden AP? Server an den Switch anbinden ist das eine, aber auch 2.5G an jedem AP wäre ja schon deutlich mehr Speed bei geringeren Anforderungen als 10G

 

[jb_alvarado]

@airwave, es sind diese Patchfelder verbaut und Dosen sollten diese sein. Beides ist grundsätzlich für 10Gbit ausgelegt. Nur sind die Kabel recht dicht zusammen verlegt.

@whiper, ich habe vor an den Arbeitsplätzen 10GBit Karten zu verbauen, hätte dort später gerne mindesten 5Gbit.

 

[airwave]

Nur um das richtigzustellen: Für SFP+ ist bei 10GbE Schluss und das hat auch nichts mit Multimode zutun. Was du vielleicht meinst ist QSFP+, das ist aber ein anderer Port.

Für 40G stimmt.
25G wäre noch über SFP28 möglich (was SFP+ Formfaktor hat)

 

[jb_alvarado]

Gerade sind zwei Intel X540-T1 gekommen, die ich zum Testen bestellt hatte. Verbindung schaut so aus:

1. Karte feste IP zugewiesen
2. Kabel raus in Wanddose rein
3. Kabel im Serverraum vom Patchpanel Slot zu Slot verbunden
4. Kabel aus zweiter Wanddose raus in zweiten PC
5. iperf auf beiden Rechner angeworfen

Nach ~10 Minuten habe ich immer noch eine relativ konstante Geschwindigkeit von 9,3 Gbits/sec. Zumindest iperf zeigt auch keine Errors an.

 

[airwave]

Achso noch n Tip, aber ich gehe davon aus, dass du das schon weißt:
wenn du die switche auf recht kurze distanz miteinander über deren stacking/uplinkport verbinden willst und diese sfp+ sein sollten, kannst auch auf DAC-kabel zurückgreifen.

Sparst dir zw. den switchen extra sfp+ module und extra kabel (also für die verbindung innerhalb eines racks)

https://www.fs.com/products/116969.html?attribute=9104&id=185540

 

[jb_alvarado]

Danke! Wusste das mit den DAC-Kabel, haben auch schon welche von FS im Einsatz.

Die Intel Karten waren leider ein Reinfall. Laut Geizhals sollten sie Wake on Lan unterstützten, tun sie aber nicht. Hätte genauer hinschauen sollen. Werde jetzt wohl welche von Sonnet testen...

 

[rezzler]

Der Betrieb von 10GBase-T auf CAT5e und CAT6a ist möglich. Aber nur mit Abstrichen bei der Reichweite. Wie weit genau, ist aber nicht spezifiziert. Im Einzelfall muss man das immer ausprobieren und nachmessen.

Ist Cat6A nicht für die vollen 100m spezifiziert?

Werde noch mal mit der Firma Rücksprache halten, die uns die Kabel verlegt hat. Das war vor ca. 6 Jahren, hoffe doch, dass man da schon 10Gbit im Kopf hatte. Das Loch, wo die Kabel aus dem Serverraum rausgehen, ist leider auch nicht groß genug, um dort noch ein paar neue Kabel unterzubringen...

Reicht ja, wenn ein (LWL-)Kabel reinpasst Bereits in 7mm Außendurchmesser bekommt man etliche Glasfasern unter. Oder eben ein neues Loch bohren, ist auch kein Hexenwerk.

Da sollte man dann aber an beiden Enden ein Patchfeld oder Wandkasten zum Aufteilen montieren/montieren lassen.

 

[airwave]

Ist Cat6A nicht für die vollen 100m spezifiziert?

Ist bisschen fies, die Kabel ja, die Patzchfelder, Dosen usw. nein

"Auf dem Markt setzten sich diese Steckertypen [spezielle für cat7] allerdings nicht durch, da RJ-45 für den im Jahr 2006 verabschiedeten 10GBASE-T-Standard genauso ausreichend war wie die Leitungen der Kategorie 6A, so dass die heute gängigen 10GBASE-T-Endgeräte auf RJ-45 basieren.

Die dazu häufig genutzte Netzwerkverkabelung, bestehend aus Cat-7-Leitung und Cat-6-Netzwerkdosen/-Patchpanels, erfüllt damit zwar den Geschwindigkeitsstandard, aber bezogen auf die Betriebsfrequenz sinkt die Leistungsfähigkeit der gesamten Netzwerkstrecke ungeachtet der „guten“ Cat-7-Leitung auf Klasse E- oder EA-Niveau (Cat 6)."

Deswegen hatte ich oben nochmal herausgehoben, dass die komplette Signalkette Cat7 oder höher haben sollte und entsprechende "Übergänge" also perfekte aufgelegte Adrern, ordentliche Patchpanele/Keystones, usw.

 

[jb_alvarado]

Die dazu häufig genutzte Netzwerkverkabelung, bestehend aus Cat-7-Leitung und Cat-6-Netzwerkdosen/-Patchpanels, erfüllt damit zwar den Geschwindigkeitsstandard, aber bezogen auf die Betriebsfrequenz sinkt die Leistungsfähigkeit der gesamten Netzwerkstrecke ungeachtet der „guten“ Cat-7-Leitung auf Klasse E- oder EA-Niveau (Cat 6)."

Das heißt dann, dass in unserem Fall das Kabel zwar 1000 mhz könnte, aber durch Pachfeld und Dose auf 500 mhz limitiert wird? Was heißt das Praktisch? Das die Signalstärke schwächer ist und man keine 100m Länge mehr schafft? Weil die Abschirmung, also der Schutz vor Fremdsignalen hat man ja trotzdem. Wenn unsere Kabel eh nur ~30m Länge haben, dürfte das ja nicht so problematisch sein.

@cloudman, sorry ich hatte noch nicht auf deinen Vorschlag reagiert. Das Mikrotik ist etwas zu klein, habe aber schon gehört das die Firma gute Preis/Leistung haben. Nur die Bedienung soll nicht so schön sein :-).