Günstige Anbindung mit mind. 4Gbit/s im Heimnetzwerk (Bonding, SPF, SPF+, etc.)?

[benneq]

Moin,

ich suche für einen geplanten etwas größeren Heimserver/NAS eine Möglichkeit, dieses Gerät mit viel Bandbreite (ab 4GBit/s) an's Netzwerk anzubinden. Dabei reicht es, wenn das Ganze per Bonding mit 4x1GBit/s passiert, da die Clients auch nur mit maximal 1GBit/s angebunden sind.

Die Entfernung zum Switch beträgt - mit sauberer Verlegung des Kabels - weniger als 10m. (Könnte wichtig sein, da manche Übertragungsstandards keine großen Entfernungen zulassen). Es können beliebige Kabel verlegt werden, also ist es im Endeffekt egal, ob die Lösung auf übliche 8-Ader-Kupferkabel, Glasfaser oder Koax-Kabel setzt.

Jetzt stellt sich mir natürlich die Frage, wie man das Ganze halbwegs kostengünstig löst. Bei den ganzen 10GBase-Standards steige ich noch nicht so recht durch. Und bei den Preisen von SFP+ (mind. 600€ für Switch + Netzwerkkarte) suche ich etwas günstigeres, da 4x 1Gbit/s Netzwerkkarten im Bonding relativ preiswert sind und ein passender Switch auch nicht die Welt kostet.

Es ist noch keine Hardware gekauft, d.h. auch ein Mainboard mit integriertem 10GBit/s Adapter wäre eine Option. Ein Board mit passender Netzwerklösung sollte auf Sockel 1150 oder 2011 aufbauen, da die aktuelle Planung nur einen Quadcore mit 2,5 bis 3,0GHz vorsieht. Eine 2-Sockellösung wäre natürlich auch denkbar, wenn das die Kosten nicht explodieren lässt.


Also fangen wir am Besten ganz Vorne an. Welche Standards gibt es, die mindstens 4GBit/s übertragen können? SFP+ schafft auf jeden Fall 10GBit/s. Bei SFP (ohne Plus) habe ich verschiedene Dinge gelesen, die von 1,25 bis 8Gbit/s reichen. 10GBase sollte - wie der Name schon sagt - auch 10GBit/s erreichen. Dann gibt es scheinbar auch noch Infiniband, FibreChannel und was weiß ich noch alles...

Laut dieser Webseite gibt es diverse 10GBASE Standards. Allerdings wird nicht deutlich, ob SFP+ und CX4 auch unter einem dieser 10GBASE-Namen laufen oder ob es vollkommen separate Technologien sind.

Gibt es aktuell schon einen Standard für 10GBit/s (im Heimnetzwerk) - also so wie es 1GBit/s Ethernet über 8 Kupferadern heutzutage ist? Welche dieser Technologien ist aktuell, zukunftssicher, preiswert, etc.?

Der zukünftige Switch sollte (falls es keine Bonding-Lösung wird) 2 schnelle Ports haben, um später evtl. einen zweiten Switch anklemmen zu können. Ansonsten würden aktuell 8x 1Gbit/s Ports reichen für die Clients - wobei es laut meinem ersten Blick auf Geizhals scheinbar erst bei 24 Ports anfängt, was aber nicht weiter schlimm ist.

Preislich sollte das Ganze am Ende natürlich - wie üblich - so günstig wie möglich und so teuer wie nötig sein Also um die 300€ für Switch und Netzwerkkarte, falls möglich. Wenn es erst für 400€ möglich ist, lässt sich das bestimmt auch umsetzen.

Wichtig wären mir vor allem erst mal Informationen über die Verschiedenen Standards und Einsatzgebiete.

Grüße und vielen Dank,
benneque


EDIT: Was ich bisher in Erfahrung bringen konnte.
Infiniband nutzt den SFF8470 Standard, der auch unter dem Namen CX4 läuft. Infiniband bündelt scheinbar (immer?!) 4 Kanäle und erreicht in den verschiedenen Standards als 10 (SDR), 20 (DDR) und 40 (QDR) GBit/s.

Bei 10GBit Ethernet können sowohl optische als auch Kupferkabel verwendet werden. Es gibt dort:
10Gbase-CX4 (kupfer): verwendet die selben CX4 Kabel wie Infiniband
10Gbase-T (kupfer): benutzt CAT6/7 mit RJ45
SFP+ CU (kupfer): Kupferkabel mit SFP+ Verbindungsstücken an den Enden
10Gbase-SR (optisch): verwendet Multimode Glasfasern
10Gbase-LR (optisch): verwendet Singlemode Glasfasern

über FibreChannel und SFP (ohne Plus) konnte ich bisher nicht wirklich was Stimmiges in Erfahrung bringen.


EDIT2: Verwendete Software / Betriebssystem(e)
Als Software wird auf dem Rechner ein Linux laufen, das mittels KVM mehrere Maschinen virtualisiert (zur Zeit sind 2 Linux Systeme und 1 BSD geplant, evtl. kommt noch ein Windows dazu).

 

[Spi12]

Ich kann dir keine Empfehlung geben, dir aber empfehlen dich hier einmal einzulesen: http://www.hardwareluxx.de/community/f101/der-10gbit-homenetzwerk-thread-807277.html

Schafft vielleicht ein wenig Übersicht über die ganzen Formate.

 

[benneq]

Danke,

scheint wirklich nicht gerade günstig zu sein... geht wohl wirklich erst bei 150€ für eine Netzwerkkarte los, was ja prinzipiell kein Beinbruch ist. Die Übersicht an Switches ist aber noch nicht sonderlich vollständig
Wenn ich aber bedenke, dass ich sonst mehrere Netzwerkkarten brauche relativiert sich der Preis wohl wieder.

Also scheinbar ist die "einfachste" Lösung SFP+, dort kann man die jeweiligen Module austauschen und so an das Übertragungsmedium anpassen. 10GbE Transceiver für SFP+ gibt es wohl schon ab 80€. Was den Schluss nahelegt, dass ein Switch mit SFP+ Ports, vermutlich ohne Transceiver daherkommt und man diese nachträglich kaufen darf. Und scheinbar funktionieren nicht alle Transceiver mit allen Karten/Switches - wofür gibt's eigentlich Standards?

Aber Geld soll jetzt gerade mal keine Rolle spielen. Lieber erstmal verstehen und schauen was möglich ist.

Bei 10Gbase-SR, 10Gbase-LR, 10Gbase-CX4, 10Gbase-T, SFP+ CU steig ich aber immer noch nicht durch. Klar sind die verwendeten Medien und/oder Anschlüsse unterschiedlich, aber läuft das auch alles über diese SFP+ Module oder ist das unabhängig davon?

Und die andere Frage ist natürlich noch SFP oder SFP+?

EDIT: Es muss SFP+ sein, da das normale SFP nur 1GBit/s unterstützt.

EDIT2: Wenn man die Bandbreite wirklich nutzen will, sollte man eine Karte mit TCP Offloading einsetzen, sonst können 700MB/sec einen CPU Kern schnell in die Knie zwingen - scheinbar arbeiten die Treiber nur Single Threaded.

EDIT3: Infiniband ist ein alter Standard. Da kriegt man aktuell die Netzwerkkarten zwar hinterher geschmissen, aber bei 50€ für 1m Kabel hört's bei mir auf. (Teilweise auch für super günstige 60€ für 3m ) Das Geld lässt sich wohl besser in aktuelle Hardware mit SFP+ investieren.
Prinzipiell kann man also für 200€ 2 Netzwerkkarten + Kabel erstehen, aber(!) die üblichen Kabellängen sind 0,5 bis 3m. Also für Punkt-zu-Punkt Verbindungen brauchbar, aber ich brauch 10GBit an einem Switch...
Scheinbar gibt's aber auch 15m Kabel für 50€*aus den USA.

EDIT4: FibreChannel ist für Storage-Anbindung konzipiert, nicht für Ethernet. Fällt also auch raus.

 

[G-Power]

Ich weiß zwar nicht was du so vor hast aber mir hat mal ein Netzwerkspezialist ( macht der Beruflich) gesagt ( das war letztes Jahr) "wenn 1 Gbit nicht mehr ausreicht sollte man sich erst einmal mit QoS beschäftigen ". Und von der Logik her auch nach voll zieh bar. Die frage ist nun was geht da übers Netzwerk ? Für QNAP NAS Systeme zb. TS 870 giebt es 10G Karten bzw. es werden 2x1G angeboten. Das reicht nicht wie viel PB/s kommen den da ?

 

[d4nY]

Bei 10Gbase-SR, 10Gbase-LR, 10Gbase-CX4, 10Gbase-T, SFP+ CU steig ich aber immer noch nicht durch. Klar sind die verwendeten Medien und/oder Anschlüsse unterschiedlich, aber läuft das auch alles über diese SFP+ Module oder ist das unabhängig davon?

SR = Short-Range (da werden Multimode Kabel verwendet, Reichweite je nach Standard <500m), LR = Longe-Range (da werden Monomode Kabel verwendet, Reichweite je nach Stand <40km) beides sind LWL
Als Alternative gibts noch SFP+ via Kupfer (aka Direct Attach), da werden einfach Kupferkabel in die SFP+ Slots gesteckt, funktioniert idR wunderbar und ist relativ preiswert, aber nur für relativ geringe Distanzen möglich

Die 3 Standards oben nutzen dabei alle einen SFP/SFP+ Slot

10GBase-T ist 10G über RJ-45, da nämlich der Stecker bei 10G über Kupfer zu viel gedämpft hat, wurde dafür anfangs/eigentlich ein neuer Stecker benötigt. Für kurze Entfernungen geht aber wohl auch RJ-45 (benötigt aber natürlich trotzdem eine entsprechende Karte)

CX-4 hat die gleichen Stecker wie InfiniBand

Die Interface Karten für 10G via LWL können übrigens ganz schön teuer werden, da würde ich mich vor dem Kauf eines Switches noch genau darüber informieren, welche Stecker du brauchst und wie viel die kosten

Meiner Meinung nach ist es das beste und sinnvollste, wenn du 4x1G bündelst (vor allem, wenn die Clients eh nur mit 1G angesprochen werden)

E: Auf Wikipedia gibts ne Tabelle mit den Datenraten und Reichweiten für die entsprechenden Kategorien (OM = Multimode, OS = Singlemode)

 

[Mr.Smith]

ac mimo schafft doch bis zu 1gbit^^


prinzipiell reicht dir dann ein 1gbit switch? sprich der 8*1gbit kann? (der empfänger hat nicht mehrere netzwerkanschlüße? könnte man da ja auch bündeln.. dann auch eher ein 24*1gb^^)

der dann halt dazu noch mit 10gbit angebunden ist z.b. ..

 

[Raijin]

Mal ganz doof gefragt: Bist du dir denn sicher, dass 1 GBit nicht ausreicht? Klar, wenn alle Clients parallel aktiv sind und viel Traffic verursachen, ist die Leitung entsprechend ausgelastet, aber wie oft kommt das tatsächlich vor? Du sprichst ja von VMs, das heißt man arbeitet effektiv auf dem Server selbst, große Datenmengen werden also nicht unbedingt anfallen. Evtl. schießt du hier mit Kanonen auf Spatzen.

 

[Krik]

Wie wäre es mit der Idee, einfach mehrere 1 GBit-Netzwerkkarten einzubauen und jedem Client eine eigene Direktverbindung zu geben? Wenn man sich die Preise der professionellen Lösungen anschaut, ist mit mit einem halben Dutzend "normaler" NICs und Kabeln billiger dran.
Das entlastet auch den Switch. Ich bezweifle irgendwie, dass du einen da hast, der 4 GBit/s verarbeiten kann. Zumindest in Consumer-Geräten findet man das selten.

 

[flo36]

Also warum machst du es nicht so wie z.B. ich. Ich habe meine DS1813+ per Trunk über 4*1 gbit/s an den meinen Zyxel GS1910-24 angeschlossen und von dort wird dann die Bandbreite verteilt. Wenn du mehr Leistung möchtest bleibt nur 10GBase, SMB 3.0 mit passender Hard + Software(Multichannel unterstützung) oder TCP multipath(wenn ich das Prinzip richtig verstanden habe).

Das mit dem Trunk funktioniert mit jedem Handelsüblichen Managed oder Smartmanaged Switch.

10Gbase oder auch die ähnlichen LWL basierende Technologien halte ich im privaten Bereich noch für fehl am Platz, da die Technik noch zu wenig ausgereift ist.

Die Lösung bei dir wäre also z.b. eine Intel Quadnic Karte zu kaufen und diese dann über den oben beschriebenen Trunk ins Netzwerk zu integrieren. Sollte die Kostengünstigste Möglichkeit sein und die Hardware kostet auch nicht die Welt.

 

[SoDaTierchen]

Könnte sowas dein Problem lösen? Damit hast du 4x 1GB/s, kannst die Clients direkt verbinden und hast Ruhe

Auf der anderen Seite solltest du prüfen, ob du tatsächlich so eine hohe Übertragungsrate brauchst. Eine Rmote-VM für Linux mag zwar mit animierten Inhalten ihre 15-20MBit/s fressen, aber davon sind 4 Sitzungen bereits mit 100MBit/s abgefrühstückt. Dazu kommt, dass herkömmliche Festplatten meist um die 120MB/s lesen / schreiben können. Hier wäre dann die GBit-Leitung nötig, um das Potential auszureizen, aber auch das ist noch nicht überfordert.

 

[T3mp3sT1187]

Hi,
ich habe auch mal mit dem Gedanken gespielt und mich dann doch für Gigabit entschieden. 10GBase wäre mehr Spielerei, die nur noch mehr Geld kostet, zumal meine Platten dann auch etwas umfangreicher ausfallen müssten. Daher habe ich daraufhin einfach zwei Gigabit-Schnittstellen gekoppelt. Wenn es denn sein muss, nimm einen Switch mit GBit und kopple halt 4 GBit-Schnittstellen, deutlich billiger und ausreichend. (220 € für den Switch im Vergleich zu 1000 € für einen mit 2x SFP+)
Mein Server beinhaltet einen Xeon E3-1265Lv2 mit 32 GB ECC-RAM, 2 x 600 GB Seagate Cheetah (15k), 3 x 3 TB WD Red (angehangen an einen LSI 9261-8i).

 

[benneq]

Moin,
und danke für die zahlreichen Antworten!

Also erst mal grundsätzlich: Ja, die 4x1GBit werden benötigt (sodass 4 Clients parallel die volle Bandbreite ausschöpfen können) - eine echte 10GBit/s Verbindung wäre einfach nice-to-have für eventuelle spätere Erweiterungen des Netzwerks und um 2 Switches mit der vollen Bandbreite verbinden zu können.

Hintergrund: Das Gerät dient nicht nur als einfaches NAS, sondern wird auch für diverse Experimente verwendet (u.a. parallele Programmierung), in denen auf den 4 Clients Daten berechnet werden und diese Dann an den Server gesendet werden. Der Server arbeitet mit den Daten im RAM und kommt also spielend mit den 4GBit/s klar. Die Jungs (das Teil wird später nicht in meiner Wohnung stehen ) haben das ganze schon öfter im normalen GBit LAN gemacht und der limitierende Faktor ist eindeutig die Netzwerkanbindung (CPUs der Clients arbeiten Multithreaded und kommen auf max. 20% Last und der als "Server" eingesetzte Rechner kommt gerade mal auf 5%, weil der im Grunde nur die berechneten Daten sammelt, aggregiert und Statistiken dazu erstellt)

NAS / MediaServer wird das Gerät natürlich auch sein, aber - wie ihr schon richtig gesagt habt - da wäre man mit 1-2GBit/s schon gut bedient gewesen. Aber dieser Punkt ist für die sonstigen Anforderungen irrelevant.

Die günstige Lösung: Die von SoDaTierchen gepostete Exsys Karte wäre natürlich eine günstige Lösung und ein passender Switch mit 16 Ports, der 4-Port-Trunks/Bonding unterstützt kostet vermutlich auch nicht die Welt.

Die professionelle Lösung wäre also SFP+ (zukunftssichere Bandbreite und 2 Server könnten untereinander auch mit voller Bandbreite kommunizieren). Kann mir noch jemand das mit den SFP+ CU Steckern genauer erklären? So wie ich es bisher verstanden habe: Normalerweise steckt man in den SFP+ Slot einen Transceiver, aber wenn man SFP+ CU verwendet, braucht man keinen Transceiver, sondern nur ein SFP+ CU Kabel? Die SFP+ CU Reichweite ist natürlich weitaus geringer, aber wie bereits gesagt reichen 10m voll und ganz aus (erste Messungen ergaben eine effektive Kabellänge (bei sauberer Verlegung) von ca. 8,5m).
Wie groß ist der preisliche Unterschied zwischen den beiden Lösungen (eingesparte Transceiver vs. spezielle Kabel)? Und: Funktioniert SFP+ CU an jedem SFP+ Port oder muss der Port das explizit unterstützen?

Erweiterung mittels eines zweiten Switches: Wie würde man das am Besten angehen? Mir fallen da spontan 3 Lösungen ein:
1. Server via 4x1GBit/s an Switch 1 und Switch 1 via 4(oder beliebig mehr)x1GBit/s an Switch 2. Sind natürlich jedes mal ein Haufen Kabel.
2. Server via 4x1Gbit/s an Switch 1 und Switch 1 via SFP+ an Switch 2.
3. Server und Switches via SFP+ verbinden.
Das ist aber vermutlich eher eine Kostenfrage.

Wahrscheinlich wäre es aber nicht schlecht, einen Switch mit mindestens 2 SFP+ Ports hinzustellen, die man vorerst nicht nutzt (sondern erstmal mit 4x1GBit/s lebt) und erst bei einer Erweiterung des Netzwerks dann "aktiviert". Der kleinste Switch mit SFP+ kostet ~300€ und für ein paar Euro mehr gibt's noch ein zweites Modell. Ein normaler kleiner Smart Managed Switch kostet ~100€.

 

[d4nY]

Kann mir noch jemand das mit den SFP+ CU Steckern genauer erklären?

Du hast eigentlich 3 Optionen:

SFP(+) <- SR-Einschub <- Multimode-LWL -> SR-Einschub -> SFP(+)
SFP(+) <- LR-Einschub <- Monomode-LWL -> LR-Einschub -> SFP(+)
SFP(+) <- Direct Attach Kupferkabel -> SFP(+)

Normalerweise sollte das über Kupfer kein Problem darstellen (der Switch weiß ja an sich nicht, dass er über LWL oder Kupfer sendet)
Nur unterstützen bestimmte Swtiche nur bestimmte Einschübe und das kann(!) auch bei Kupfer so sein, deswegen am besten vorher nachfragen

Um mal einfach Preise in den Raum zu werfen: Von Avaya haben wir für einen LR-Einschub 780€, für einen SR-Einschub 520€ gezahlt (+MwSt). Die Kupferkabel (3m) haben 100€ + MwSt gekostet.
Kommt aber auf den Switch und den Hersteller draufan (ne kurze Recherche bei Geizhals liefert so Kosten zwischen 100 und 1500€)

 

[benneq]

Willst du mir gerade sagen, dass NUR der Transceiver 780€ bzw. 520€ gekostet hat? Und das Kupferkabel für 100€ war vermutlich dann SFP+ CU oder?
Bei Geizhals sind auf jeden Fall Transceiver ab 55€ gelistet - Kompatibilität erst mal außen vor gelassen.
SFP+ CU Kabel finde ich hingegen gar nicht. Oder haben die noch andere Namen?

 

[d4nY]

Ja das will ich damit sagen^^ Aber nachdem die Switche auch relativ hochwertig/teuer waren, denke ich, dass die passenden Einschübe auch entsprechend teuer sind. Soll heißen: Günstigerer Switch ergibt auch günstigere Einschübe

Nachdem mir kein anderer Standard bekannt ist, der 10G über Kupfer übertragt und in SFP+ Einschüben passt, gehe ich stark davon aus, ja

Such mal nach twinax

 

[benneq]

Mit Twinax lande in Geizhals' bester Kategorie: "unsortiert" Aber da Fallen direkt einige Produkte mit "SFP+" und "Kupfer" ins Auge

Auf anhieb hab ich 2 "günstige" 10m Kabel gefunden:
Fujitsu S26361-F3989-L110
Cisco SFP-H10GB-ACU10M

D.h. wenn man nun die günstigsten SFP+ Varianten hernimmt (für eine 10m Verkabelung), wäre das:
SFP+ CU: ~200€
SFP+ mit Transceiver: 2x 50€ bis 2x 200€ + 10-50€ Kabel. Also grob 110€ - 450€

Und dann müsste man noch herausfinden, ob eine der beiden Varianten bzw. speziell diese günstigen Transceiver mit so einem günstigen Switch wie dem D-Link DGS-1510-28 funktionieren. Dazu würde dann natürlich noch eine entsprechende SFP+ Netzwerkkarte kommen, die bei 200€ anfangen.

Kostentechnisch bedeutet das in etwa Folgendes:
Im günstigsten Fall bekäme man eine SFP+ Lösung für 600€. (wobei man noch herausfinden müsste, ob diese günstigen Teile auch alle kompatibel sind)
Die 4x 1GBit/s Lösung kommt auf ca. 300€.
Eine Mischung aus 4x1Gbit/s mit SFP+ Switch für eine zukünftige Aufrüstung läge bei 450€.

 

[T3mp3sT1187]

Also ich habe grade mal bei unserem Distributor nachgeguckt, hier komme ich für einen Switch und 2 Transceivern auf fast 900 € ohne Steuern und ohne LWL. Also bitte halte uns einfach mal auf dem Laufenden

 

[benneq]

Ich werd das erst mal mit den Jungs bequatschen, zwischen einer 300€-Lösung, die definitiv funktioniert und einer 600€-Lösung, die evtl. noch teurer wird, weil die günstigen Transceiver nicht kompatibel sind liegen immerhin 100%+ Mehrkosten.

Außerdem sind das dann natürlich keine firmentauglichen High-End Produkte mit Lebenslanger Garantie und Vor-Ort-Austausch-Service. Wenn man das will/braucht kommt vermutlich auf die von euch bekannten Preise von 1500€+.

... aber vielleicht meldet sich ja demnächst hier noch einer, der eine andere Quelle für Hardware kennt, die nicht bei Geizhals gelistet ist. Oder vielleicht hat irgend ein Shop gerade ein Sonderangebot beim Kauf von Switch, Netzwerkkarte + 2 Transceiver + Kabel Wer weiß.

@T3mp3sT1187:
Wenn man sich die Switches bei Geizhals anschaut, sieht man recht schnell, dass im Bereich unter 700€ gerade mal 11 Geräte vertreten sind. Euer Distributor hat bestimmt auch nur eine eher kleine Auswahl an Geräten und ist dann vielleicht zusätzlich noch auf 2-3 Marken beschränkt und hat genau diese günstigen Produkte nicht im Sortiment.

 

[EXP]

Es gibt auch direkt von D-Link direct attach kabel (siehe Datenblattes des Switches):

Optional SFP+ Direct Attach Stacking Cables
DEM-CB100S 10-GbE SFP+ 1 m Direct Attach Cable
DEM-CB300S 10-GbE SFP+ 3 m Direct Attach Cable
DEM-CB700S 10-GbE SFP+ 7m Direct Attach

 

[benneq]

Das 7 Meter Kabel kosten ca. 95$ (dazu dann noch Zoll und so), aber leider reichen 7 Meter für unser geplantes Unterfangen nicht und längere Kabel hab ich da nicht finden können. Aber grundsätzlich ein guter Tipp und immerhin nur halb so teuer wie die 10m Kabel.