Netzwerk beschleunigen (Switch gesucht?)

[RalphS]

Für welche Fälle ein LAG aus zwei 1GbE Links mehr als ausreichend wäre, Unterstützung durch das Übertragungsprotokoll vorausgesetzt.

Allerdings ist das Zauberwort KANN. Wenn auf HDDs so dermaßen viele Daten Her und Hin geschaufelt werden, dann fragmentiert die irgendwann. Und dann landen wir ganz schnell auch bei weniger als 80MB/s.

Vor dem Hintergrund mag ein defrag -o <LW>: zielführender sein als ein neuer Switch.



Hinweis: Ich hab meinen Post oben nochmal korrigieren müssen, weil der an einer Stelle kritisch unvollständig war:

-- Die angegebenen 100 Euro gelten für zwei NICs, PCIe v3 x4, und ein kurzes DAC Kabel als Bundle. Manchmal kostet es etwas mehr, manchmal etwas weniger und die ConnectX 3 sind auch relativ alt, es gibt aber noch passende Treiber dafür, auch für Windows 10/11.

Man kann natürlich auch (signifikant) viel mehr ausgeben, aber um erstmal zu schauen, ob sich da überhaupt was holen läßt, sind die kleinen Dinger mehr als ausreichend.

 

[dvor]

Für welche Fälle ein LAG aus zwei 1GbE Links mehr als ausreichend wäre, Unterstützung durch das Übertragungsprotokoll vorausgesetzt.

Stimmt. Meines Wissens nach geht ein Datentransfer über 2 NICs gleichzeitig nur mit smb3 Multichannel, das aber auch ohne LAG. Bei Win10 ist das kein Problem.

Damit das ohne LAG funktioniert bekommt jeder Rechner eine 2. Netzwerkkarte, die direkt miteinander verbunden werden.
Der Preisunterschied zwischen 1 GBit/s und 2,5 GBit/s PCIe Netzwerkkarten ist nicht so riesig, dass man unbedingt 1 GBit/s kaufen muß.

 

[$Name]

1. Für jeden PC, der an dem/den Transfer beteiligt sein soll, eine ausreichend große SSD verbauen. Preisleistugsmäßig läuft man da auch nicht soo schlecht. 1T Solid storage kosten nicht mehr die Welt.

Lohnt sich für mich nicht zum archivieren von einigen TB Daten. Dafür möchte ich weiterhin HDDs nutzen.

Mellanox ConnectX 3 mit SFP+ Konnektor

Hier schreckt mich die maximale Kabellänge von ~7m ab. Ich brauche zwar gerade nur 4,5m kann mir aber vorstellen in Zukunft mehr zu benötigen. Da fehlt mir die zukunftssicherheit und ich bin kein professioneller Nutzer. Mir reichen 2,5Gbit locker.

NICs und SSD ordentlich einrichten

Ich versuche es.

ein Linkaggregat einzurichten mit 2x1GbE. SMB3 sollte dann in der Lage sein, die zusätzliche Bandbreite auch zu nutzen.

Ich muss mal schauen was das überhaupt ist. Kommt auf die ToDo-Liste.

Ergänzung (23. April 2022)

Der Preisunterschied zwischen 1 GBit/s und 2,5 GBit/s PCIe Netzwerkkarten ist nicht so riesig, dass man unbedingt 1 GBit/s kaufen muß

Kannst du mir ein Gerät für 2,5Gbit empfehlen? Da nimmt man dann Cat. 5e oder Cat. 6A als Kabel?

 

[madmax2010]

Nicht für 200€. Aber ein privates kleines 10Gbit Netz wäre eine coole Sache

https://www.ebay.de/itm/144202187110
Die tun als Karten ganz gut.
Dazu je einen 10g glasfaser (multimode LC) sfp für je 11 Euro, glasfaser dazu kostet knapp 1 Euro / Meter.
Dann hast Du eine direkte 10g Verbindung.
Sonst kostet ein 10g switch mit 4-5 ports auch unter 100 inzwischen (hoffentlich noch immer)
Die connect x 2 gab's auch schon für 15 Euro pro Stück

 

[dvor]

Kannst du mir ein Gerät für 2,5Gbit empfehlen? Da nimmt man dann Cat. 5e oder Cat. 6A als Kabel?

Völlig egal. Die billigen (< EUR 30) PCIe-Karten haben alle den gleichen Chip von Realtek. In den technischen Daten darauf achten, dass sie WOL und Jumbo Frames beherrschen. Oder brauchst du USB?

Kabel für 2,5 GBit/s reicht Cat. 5. Wenn du eins kaufen mußt, nimm gleich Cat. 6A. Der Aufpreis ist überschaubar.

 

[wern001]

Fast alle Realtek-NIC-Chips sind nur sparversionen. Die Realtek Netzwerkkarten verarbeiten viele Netzwerkfunktionen per Treiber auf der CPU

 

[$Name]

https://www.ebay.de/itm/144202187110
Die tun als Karten ganz gut.
Dazu je einen 10g glasfaser (multimode LC) sfp für je 11 Euro, glasfaser dazu kostet knapp 1 Euro / Meter.

So ein Kabel? Kabel

Ergänzung (23. April 2022)

Jumbo-Frames kann ich nicht auswählen. Demnach brauche ich dafür einen anderen Treiber. Bloß habe ich keine Ahnung woher ich den richtigen nehmen soll

 

[dvor]

Fast alle Realtek-NIC-Chips sind nur sparversionen. Die Realtek Netzwerkkarten verarbeiten viele Netzwerkfunktionen per Treiber auf der CPU

Stimmt. Leider ist I225 nicht empfehlenswert. Bleiben nur 10 GBit/s oder das.

Ergänzung (23. April 2022)

Jumbo-Frames kann ich nicht auswählen.

Bei 1 GBit/s sowieso egal. 112 MB/s gehen ohne.

Demnach brauche ich dafür einen anderen Treiber. Bloß habe ich keine Ahnung woher ich den richtigen nehmen soll

Für welchen Netzwerkchip?

 

[$Name]

Controller für die Realtek PCIe GbE-Familie

Hardware-IDs:
PCI\VEN_10EC&DEV_8168&SUBSYS_7C021462&REV_15
PCI\VEN_10EC&DEV_8168&SUBSYS_7C021462
PCI\VEN_10EC&DEV_8168&CC_020000
PCI\VEN_10EC&DEV_8168&CC_0200

@dvor Ist das die richtige Antwort auf deine Frage?

 

[dvor]

Ja, das beantwortet meine Frage.

Müsste hier sein:
https://www.realtek.com/en/componen...0-1000m-gigabit-ethernet-pci-express-software

 

[$Name]

Müsste hier sein:

Mit dem Treiber kann ich nun auch JumboFrames aktivieren. Scheint also der richtige zu sein. Vielen Dank.

 

[wern001]

jumboframes steigert nicht von 80 auf 110 MB/sek
wenn man 100-105 MB/sek dann bringt es was. da ist wo anders der hund begraben

einfach mal mit iperf testen was da an durchsatz möglich ist. Danach mit nastester

 

[$Name]

Ich habe jetzt auf beiden Rechnern die vermutlich richtigen Netztreiber installiert und mit TCPOptimizer die Default Werte wieder hergestellt. Und siehe da: stabile 108MB/sec! Das ist eine Steigerung um etwa 35% ganz ohne Geldausgaben. Der Tag hat sich gelohnt

Danke

 

[RalphS]

Hier schreckt mich die maximale Kabellänge von ~7m ab.

Wie kommst Du darauf? SFP in allen seinen Ausprägungen ist ein "Metaport". Da kommt ein Transceiver rein und da das Kabel dran. Das kann RJ45 sein (für 10GbE maximal) aber es kann auch Glas sein (bis weit über 100Gbit/s) mit Kabellängen, die 300m nicht unterschreiten müssen (im Gegensatz zu Kupfer mit seinen 100m).

Direct Attach kann man natürlich machen, aber man muß sich das gut überlegen. Die Verbindung ist einfacher, aber inflexibler. Einfach mal den SFP+ Port mit dem 10GbE RJ45 am Mainboard verbinden geht damit zB nicht.

Entsprechend kann auch das kurze irgendwo beiliegende DAC Kabel nur zum Testen dienen. DAC ist auch ebenso wie AOC viel zu teuer für "reguläres" Verlegen.

 

[Skysnake]

Innerhalb von Racks ist DAC/AOC aber das Mittel der Wahl

Für kurze Strecken ist das schon ok.

 

[dvor]

Hier schreckt mich die maximale Kabellänge von ~7m ab.

Die Länge gilt für SFP+ mit DAC. SFP+ kann Glasfaser (dafür ist es gedacht) mit Entfernungen weit jenseits allem, was innerhalb eines Gebäudes nützlich ist.

Bei kurzen (OK, sehr kurzen) Entfernungen innerhalb eines Raums ist DAC die erste Wahl.

Die oben irgendwo verlinkte Connect-X2 hat PCIe2 x8. Da muss ein passender Steckplatz vorhanden sein, der elektrisch mindestens 2 (bei leichter Bandbreiteneinschränkung) oder besser 4 PCIe-Lanes hat. Die Connect-X3 hat PCIe3 x4 und kann trotz des höheren Preises sinnvoller sein.

Doch egal wie man es dreht und wendet: Der TE benötigt 10 GBit/s nicht.

Ergänzung (24. April 2022)

mit TCPOptimizer die Default Werte wieder hergestellt.

Das hat schon vielen geholfen. Schön, dass damit alles gut ist.

 

[conf_t]

1 Gbit/s sind Brutto 125 MByte/s .... je nach overhead bis zu 110 MB/s netto real

Ich meinte „über 1 Gbit Netzwerk“, nicht „ über 1 Gbit Netzwerk“. „Über“ im Sinne des Weges, nicht „> 1 Gbit“. Du hast nur 10, 100 oder 1000 in dem Fall zu Auswahl, also muss schon mit 1 Gbit verbunden sein, um 80 MB zu erreichen, auch wenn es nicht die maximal möglich Bandbreite erreicht.

Ergänzung (24. April 2022)

Lohnt sich für mich nicht zum archivieren von einigen TB Daten. Dafür möchte ich weiterhin HDDs nutzen.

Dann verabschiede dich weiterhin dauerhaft die 1 Gbit zu erreichen. Übertrage selbst Backups zwischen NAS und und die Ziele und Quelle haben Paritätsraid, können theoretisch sequenziell irgendwas mit 400-600MB/s, ohne SSD-Cache waren es oftmals eher 1/5. Mit SSD Cache und 10Gbe Karten komme ich auf die 5-6 Gbps. Ohne Cache lohnen sich mehr als 1 Gbps kaum. In meine Szenarios nur selten über die 115 MB/s gegangen.

Gerade bei differenziellen Backups, werden keine Daten sequenziell gelesen und geschrieben. Sondern welcher „hier und da“ von der HDD gelesen.

Interne Geschwindigkeiten sind durch Netzwerkprotokolle und Latenzen was anderes als Netzwerkübertragungsgeschwindigkeiten.

 

[Sebbi]

Ich meinte „über 1 Gbit Netzwerk“, nicht „ über 1 Gbit Netzwerk“.

in dem Falle wird es wesentlich klarer, wenn du sagst, "Du hast schon Gbit Geschwindigkeit, da 80 MB/s mit 100 Mbit/s Netzwerk nicht erreicht werden kann"

außerdem wusste der AW ja, das er das schon hat, hat aber nur gefragt, warum er auf 80 MB/s festhängt und nicht auf > 100 MB/s kommt, obwohl alle Komponenten es mitmachen.
Lösung waren die Treiber, nun kommt er auf stabile 108 MB/s

Dann verabschiede dich weiterhin dauerhaft die 1 Gbit zu erreichen.

das ist Unsinn, auch mit HDDs ohne SSD Cache werden 1 GBit/s bei großen Dateien durchweg erreicht.

Übertrage selbst Backups zwischen NAS und und die Ziele und Quelle haben Paritätsraid, können theoretisch sequenziell irgendwas mit 400-600MB/s, ohne SSD-Cache waren es oftmals eher 1/5. Mit SSD Cache und 10Gbe Karten komme ich auf die 5-6 Gbps. Ohne Cache lohnen sich mehr als 1 Gbps kaum. In meine Szenarios nur selten über die 115 MB/s gegangen.

hier kommt es auf an, was für Daten übertragen werden. Viele kleine Dateien drücken ohne SSD Cache die Bandbreite. Auch kommt es auf die Latenz an, die das jeweilige Raid hat. Da kann es schon stark zu Einbußen kommen. Und auch beim Zielraid kommt es darauf an, wie schnell die Parität berechnet wird, was die Geschwindigkeit auch nochmal gut reduziert.

Wenn das alles nicht so pralle bei beiden NAS Systemen ist, kann es schon zu den von dir beschriebenen Einbrüchen ohne SSD Cache kommen. Das kannst du aber dann nicht so pauschalisiert verbreiten! Denn je nach Szenario kann das ganz anders ausfallen.

Beispiel von mir:
ich sichere über Acronis meinen Rechner auf mein NAS und habe im Schnitt 100 MB/s anliegen. Und mein NAS hat keine SSD Cache.

 

[$Name]

Doch egal wie man es dreht und wendet: Der TE benötigt 10 GBit/s nicht.

das ist Unsinn, auch mit HDDs ohne SSD Cache werden 1 GBit/s bei großen Dateien durchweg erreicht.

Das kann ich so bestätigen. Stabile 108MB/sec für UHD-BD


Also im Grunde geht es hier nur darum wöchentlich ~200GB von A nach B zu bringen. Das ganze zwischen zwei HDDs. Ich nutze billige und leise (~5400RPM) HDDs (Seagate Barracuda oder WD-Blue). Am Zielrechner habe ich je zwei identische HDDs und die Daten werden dann dort mit einfacher Redundanz gespiegelt.
Ich bin damit zufrieden das Gigabit voll auszureizen, bin aber auch offen für Verbesserungen.


Also ihr empfehlt mir für eine leichte Verbesserung (HDD als limitierender Faktor) zwei gebrauchte

Connect-X3

Die dann verbunden mittels DAC (7m) und im Falle des Falles kann ich zukünftig mittels eines Gerätes

Transceiver

bei Bedarf ein längeres konventionelles (Cat. 6A) Kabel ziehen oder gar eine Art von Glasfaser (AOC?).


Um das ganze schmackhafter zu machen wird hier das Thema SSD-Cache angesprochen. Ich schreibe mir das mal auf zum recherchieren. Danke. Also es gibt HDDs mit denen Daten prinzipiell schneller transferiert werden können?

 

[dvor]

bei Bedarf ein längeres konventionelles (Cat. 6A) Kabel ziehen oder gar eine Art von Glasfaser (AOC?).

Ja. Insbesondere Glasfaser. 10GBase-T (10 GBit/s über "normale" Netzwerkkabel) als SFP+-Transciever ist möglich, wird aber extrem warm und sollte vermieden werden.