Langsamer Datentransfer vom Router zum PC

[CoMo]

Hallo,

ich nehme gerade einen neuen OPNSense Router in Betrieb.

Setup: Router (Q20342G9 C3808) (Intel X553) -> 10GBase-SR LC Multimode Modul > 2M OM4 LC auf LC -> 10GBase-SR LC Multimode Modul-> Switch -> CAT8 RJ45 Kabel -> PC (Intel X550 / Windows 11).

Nun komme ich im Durchsatztest nach etwas Tuning vom PC zum Router auf etwa 5,5 - 6,5 Gbit/s, mit kurzen Peaks auf bis zu 7 Gbit/s. Dabei rechnen alle 12 Kerne auf 100%, also bin ich da im CPU-Limit, das passt.

Tuning bedeutet, ich habe alle Offloading-Optionen aktiviert und sowas wie RSS auf beiden Seiten konfiguriert, je nach Anzahl der Kerne. Der PC hat genug Power.

Doch seltsamerweise ist der Datentansfer in die Gegenrichtung viel niedriger, vom Router zum PC komme ich nicht über 3 Gbit/s und das auch nur mir einer einzelnen Verbindung, erhöhe ich die Anzahl der Threads, wird es sogar langsamer. Der Prozessor des Routers hat in diesem Szenario noch freie Ressourcen.

An welcher Stelle könnte ich hier etwas übersehen haben?

 

[Langi1]

unterschiedlich schnelle SSD´s?

 

[CoMo]

Ich schreibe und lese auf keine Datenträger, ich führe einfach iperf3 aus. Somit sollte sich das alles im RAM abspielen. Die Größe des RAM ist auf beiden Seiten überdimensioniert.

 

[oicfar]

Ich habe einen NUC und vom NUC aus erreiche ich auch nicht 1Gbit. Zum NUC aber schon.

https://www.computerbase.de/forum/threads/iperf3-tcp-in-schneller-als-tcp-out.2177119/

In meinem Fall liegt es wohl am Controller.

 

[Bob.Dig]

Generell wird nicht empfohlen, iperf auf der Firewall selbst zum Testen zu benutzen, sondern nur zwischen einzelnen Hosts.

 

[CoMo]

Wieso das? Im Moment ist der neue Router ja einfach nur ein Host im Netzwerk. Er bekommt eine IP-Adresse von meinem aktuellen Router, die Firewall ist deaktiviert und mir geht es ja gerade genau um den Datentransfer zwischen PC und diesem Gerät.

 

[Sebbi]

Doch seltsamerweise ist der Datentansfer in die Gegenrichtung viel niedriger, vom Router zum PC komme ich nicht über 3 Gbit/s

also wenn du schon bei 100 % CPU Auslastung @ 6 Gbit/s bist bei deinen Hauptrechner bist, wie soll dann der kleine Atom von Q3 2017 ähnliche Werte erreichen?

Wenn dann musst du das schon einen Dateitransfehr prüfen, wobei du Windows noch so konfigurieren musst, damit du nicht in ein Transferlimit läuft

 

[CoMo]

Es geht um die CPU des Mini-PCs natürlich. Das ist ein Atom C3808 mit 12 Kernen. Der Windows-PC hat ausreichend Power.

 

[Sebbi]

Das ist ein Atom C3808 mit 12 Kernen

ja, eine von vor 7 Jahren - wie gesagt, die wird mit 3 Gbit/s iperf auch ausgelastet sein

 

[CoMo]

Wie kommst du auf sowas? Ich sehe eine 100% Auslastung bei 6 Gbit/s eingehendem Datenverkehr.

Bei 3 Gbit/s ausgehendem Datenverkehr sehe ich etwa 70% Auslastung.

Kannst du deine Einschätzung daher bitte genauer erklären?

 

[Sebbi]

Ich sehe eine 100% Auslastung bei 6 Gbit/s eingehendem Datenverkehr.

Bei 3 Gbit/s ausgehendem Datenverkehr sehe ich etwa 70% Auslastung

kommt drauf an wie dann der I/O gehandelt wird beim Atom und diesem China Board. Wenn das alles die CPU händelt aufgrund des billigen Chipsets, kann die 70 % bei Erzeugung der Daten schon Vollauslastung bedeuten.

 

[CoMo]

Naja es ist ein Intel X553. Der unterstützt alle relevanten Offloading Techniken, die habe ich auch alle aktiviert. Außerdem Receive Side Scaling und QuickAssist.

Eine Idee, wie man das Bottleneck hier besser identifizieren könnte? Bisher sind das ja alles eher Vermutungen.

 

[Sebbi]

Eine Idee, wie man das Bottleneck hier besser identifizieren könnte? Bisher sind das ja alles eher Vermutungen.

mach erstmal einen richtigen Dateitransfer mit einer großen Datei und prüfe wie da die Datenraten sind. Dann solltest du nicht im CPU Limit sein und kannst das ausschließen.

 

[CoMo]

Das scheint mir wenig aussagekräftig zu sein, denn wenn ich eine einzelne Datei via SSH übertrage, lastet dieser SSH-Prozess genau einen Kern zu 100% aus. Da komme ich auf etwa 500 Mbit/s.

 

[Bob.Dig]

und mir geht es ja gerade genau um den Datentransfer zwischen PC und diesem Gerät.

Aber warum. Ist das Teil auch gleichzeitig dein NAS? Die Empfehlung, eine Sense nicht selbst für iperf-Test heranzuziehen, kommt ab und an im Netgate-Forum auf und die haben ja mit QAT angefangen. Ich nehme das einfach so hin.

 

[Sebbi]

also ist SSH nicht multi tread fähig - versuchs mal via SMBv3

aber das zeigt doch schon 500 MBit/s * 12 -> 6 Gbit/s. 5,5 wenn noch I/O abgezogen werden muss.

Viel mehr als 6 Gbit/s wirst du aber wohl nicht bekommen, da du CPU Limit von dem Atom bist.
Die 3 Gbit/s mit iperf wird daher kommen, weil iperf eben selbst noch selbst last erzeugt und damit die Datenrate drückt wie schon von anderen angemerkt

 

[CoMo]

aber das zeigt doch schon 500 MBit/s * 12 -> 6 Gbit/s.

Ja, das ist mir auch schon aufgefallen 😄

Die 3 Gbit/s mit iperf wird daher kommen, weil iperf eben selbst noch selbst last erzeugt und damit die Datenrate drückt wie schon von anderen angemerkt

Der Gedanke liegt nahe, warum sind dann aber nicht alle Kerne ausgelastet bei 3 Gbit/s outbound? Bei 6 Gbit/s inbound limitiert die CPU. Was ist dann hier das Bottleneck, wenn es nicht die CPU ist?

 

[Sebbi]

Was ist dann hier das Bottleneck, wenn es nicht die CPU ist?

die CPU

musst ja bedenken I/O braucht CPU und auch das Erstellen der Daten für die Datenpaket, die kommen ja nicht aus dem Nichts bei iperf, sondern müssen erzeugt, verarbeitet und transferiert werden. Sowie auch die Übertragungskontrolle und je nach Protokoll die Verarbeitung der Antworten.

bei Übertragen von vorhandenen Dateien fällt das Erstellen der Daten weg, was im Endeffekt der Datenrate zu Gute kommt, da der Prozessor hier ja so extrem limiert ist.

Im Allgemeinen finde ich diesen Qotom Mini PC Q20300G9-S10 Atom C3808 für den Preis einfach nur Scam, denn der Prozessor könnte nicht mal ansatzweise diese ganzen I/O Ports ausreichend versorgen, selbst wenn man nur 2,5 Gbit/s Verbindungen hat, diese aber voll Auslasten will. Geschweige denn noch Rouingaufgaben etc.

Denn wie du ja selbst siehst, maximal 6 Gbit/s I/O Bandwidth. Selbst einfache 8 Port 1 Gbit/s Switches alleine haben schon 16 Gbit/s I/O Bandwidth, so das alle Ports untereinander bei Vollbelegung miteinander kommunizieren können, ohne das ein Engpass entsteht.

Und kuck alleine deinen Switch an: Backplane: 240Gbit/s

 

[Bob.Dig]

Und kuck alleine deinen Switch an: Backplane: 240Gbit/s

Aber ein Switch ist kein Router... hinkt das nicht alles etwas?