10G Intel Lan packt nur ~150 Mbit/s Upstream bei 25 Gbit/s Glasfaser

[tackleberry]

So, ich sammel mal alle iperf3 Werte hier


Test 1
Von mir durchgeführte Konfiguration (Ryzen an 1G SPF Modul, Threadripper an 10G Mikrotek Modul) - Fast Forward auf Bridge deaktiviert

1A: Ryzen zum Threadripper

1B: Threadripper zu Ryzen

1C: Ryzen zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

1D: Threadripper zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

1E: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Ryzen (NAT Rule angelegt und angepasst)

1F: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Threadripper (NAT Rule angelegt und angepasst)

Fazit Test 1: Ryzen zu TR: ~1G schnell Rechenzentrum zu Threadriper ~1G schnell, Rest langsam

Test 2
Von mir durchgeführte Konfiguration (Ryzen an 1G SPF Modul, Threadripper an 10G Mikrotek Modul) - Fast Forward auf Bridge aktiviert.
2A: Ryzen zum Threadripper

2B: Threadripper zu Ryzen

2C: Ryzen zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

2D: Threadripper zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

2E: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Ryzen (NAT Rule angelegt und angepasst)

2F: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Threadripper (NAT Rule angelegt und angepasst)
Mehr kommt gleich...

Test 3
Von mir durchgeführte Konfiguration (Ryzen an 10G Mikrotik SPF+ Modul linked auf 2.5G, Threadripper an 10G Mikrotek Modul) - Fast Forward auf Bridge deaktiviert

3A: Ryzen zum Threadripper

3B: Threadripper zu Ryzen

3C: Ryzen zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

3D: Threadripper zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

3E: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Ryzen (NAT Rule angelegt und angepasst)

3F: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Threadripper (NAT Rule angelegt und angepasst)

Test 4
Von mir durchgeführte Konfiguration (Ryzen an 10G Mikrotik SPF+ Modul linked auf 2.5G, Threadripper an 10G Mikrotek Modul) - Fast Forward auf Bridge aktiviert

4A: Ryzen zum Threadripper

4B: Threadripper zu Ryzen

4C: Ryzen zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

4D: Threadripper zu Ubuntu Server im Rechenzentrum mit 2.5G Anbindung

4E: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Ryzen (NAT Rule angelegt und angepasst)

4F: Vom 2.5G Ubuntu Server im Rechnenzentrum zum Threadripper (NAT Rule angelegt und angepasst)

Test 5
Angepasste Konfiguration. Ryzen im eigenen Netzwerk (10.2.0.0/24), Threadripper im eigenen Netzwerk (10.3.0.0/24) und alle Ports, Firewallregeln sowie die Bridge deaktiviert. Hatte auf dem Screenshot noch das Netzwerk 192.168.2.0/24 aktiv aber dann ein paar Tests gemacht nachdem ich auch das deaktiviert habe. Ergebnisse waren die gleichen. (Ryzen an 10G Mikrotik SPF+ Modul linked auf 2.5G, Threadripper an 10G Mikrotek Modul)

5A: Ryzen zum Threadripper

5B: Threadripper zu Ryzen

Fazit: Ich habe die Schnauze voll und pack jetzt den CRS309 aus. -.-

PS: Jemand Idee wie man mit Keybind oder auf anderen Wege den Remote Desktop schnell schließen kann? Ansonsten habe ich beim Senden Vom Threadripper immer die ersten 2-4s noch die Remoteverbindung offen...

 

[Pitchblack73]

https://michael.stapelberg.ch/posts/2021-05-28-configured-and-returned-mikrotik-ccr2004-for-fiber7/

Vlt habt ihr mit seiner Cnfig mehr Erfolg. Dafür spricht er von DNS problemen..... Aber er scheint ahnung von netzwerktechnik zu haben und ist genau für denn anschluss gedacht...

Danke, habe ich glücklicherweise schon entdeckt bevor ich den CCR2004 bestellt hatte und habe schon gewusst das der munter zwischendurch ohne Grund und vor allem ohne Auswirkung auf die Board/CPU Temperaturen die Lüfter auf 4000 rpm drehen lässt.

Hab auch schon rausgefunden, dass der Hack mit den Noctua NF-A4x20 beim CCR2004 leider nicht fruchtet. Offenbar hat MikroTik die den Startstrom so stark reduziert, dass die Noctua nicht mehr anlaufen. Aber würde ja eh die Garantie verfallen lassen. Hab mich schon an das Geräusch gewöhnt und schlaf gemütlich weiter.

Der Blog ist der Grund warum ich den CCR2004 jetzt zurückgesetzt habe, wollte das heute Abend oder morgen Vormittag mal noch probieren, bevor ich die UDM Pro oder eine Intel NIC hole.

 

[Pitchblack73]

Um mich mal selbst zu zitieren. Und da der TO, damit nichts anfangen konnte, habe ich eine möglichst simple Config geschrieben, die genau das macht.

Wir brauchen erstmal Tests zu Layer 2 Performance. Die mach man innerhalb eines Netzes. Das hab ich vergessen hinzuschreiben. Und dazu möchte ich hier nochmal explizit auffordern!

Danach lokale Layer 3 Performance und wenn das alles stimmt, können wir weiter zum Internet gehen.

Wenn ich mit scharfen hinsehen weiß, was an seiner Config falsch ist, würde ich es einfach sagen.

Daher tun wir uns meiner Meinung nach leichter, erstmal die Basics zu prüfen. Denn 1000 Speedtest.net Screenshots bringen uns nicht weiter, wenn es schon lokal nicht läuft.

Ergänzung (18. Juni 2021)

Wie kommst du zu diesem Entschluss?

Weil das immer theoretische Werte sind, die man in real nicht erreicht. Insbesondere bei einem Haufen Firewall und Routing Einstellungen. Ich hatte schon mal zwischen 2015 und 2018 Fiber7, damals Gigabit und da sind dann schon 950 Mbps drin. Kann man aber nicht 1:1 auf 10G oder 25G adaptieren.... auch wahrscheinlich der Grund warum sie es jetzt explizit auf der Hardware Webseite erwähnen. Wir sind wohl nicht die einzigen....

 

[Skysnake]

Ergibt jetzt nicht wirklich viel Sinn.

Ich würde aber wie schon mehrfach gesagt Windows mal gegen ein live Linux ersetzen, dann weiß man was gehen kann.

 

[Pitchblack73]

Hier mal ein Fiber7 Speedtest anno 2017 damals mit dem Fiber7 Gigabit Angebot:

Ergänzung (25. Juni 2021)

Dann mein schnellster Speedtest.net Versuch mit der nativ installierten Asus XG-100F noch mit Original Firmware und Treiber

und ungeschönt via cnlabs Speedtest

Ergänzung (25. Juni 2021)

und zu guter Letzt von gestern Abend, nach dem Marvell Firmware Upgrade und dem neusten Treiber für die NIC

eher ein Rückschritt....

Ergänzung (25. Juni 2021)

BTW: Spannende Abendlektüre gesucht? Guckst Du hier: https://wiki.mikrotik.com/wiki/Manual:Layer2_misconfiguration

Danke für den Tipp ;-) Bleibe schon beim ersten Punkt hängen:

"..Bridges on a single switch chip..."

Dabei hat der CCR2004 nicht mal einen Switch chip und ich habe schon zwei Bridges gebastelt

 

[tackleberry]

config removed

Wollte gerade testen... 😢

Ergänzung (25. Juni 2021)

Hier mal ein Fiber7 Speedtest anno 2017 damals mit dem Fiber7 Gigabit Angebot:

Anhang anzeigen 1095037

Ergänzung (25. Juni 2021)

Dann mein schnellster Speedtest.net Versuch mit der nativ installierten Asus XG-100F noch mit Original Firmware und Treiber

Anhang anzeigen 1095038

und ungeschönt via cnlabs Speedtest

Anhang anzeigen 1095040

Ergänzung (25. Juni 2021)

und zu guter Letzt von gestern Abend, nach dem Marvell Firmware Upgrade und dem neusten Treiber für die NIC

Anhang anzeigen 1095043

eher ein Rückschritt....

Ergänzung (25. Juni 2021)

Danke für den Tipp ;-) Bleibe schon beim ersten Punkt hängen:

"..Bridges on a single switch chip..."

Dabei hat der CCR2004 nicht mal einen Switch chip und ich habe schon zwei Bridges gebastelt

Check mal die CPU Performance Auslastung. Theoretisch müsste das dann über die CPU geswitched werden wenn ich das richtig verstanden habe... Ich komme aber nie über 5-10%.

Ergänzung (25. Juni 2021)

Ergibt jetzt nicht wirklich viel Sinn.

Die Tests oder die Ergebnisse? Wollte einfach mal dokumentieren wie es sich vom Status Quo entwickelt wenn ich X, Y, Z ändere. Wollte gerade die Config übernehmen, die ein User hier gepostet hatte, aber die ist nun leider gelöscht worden.

 

[Kiso]

@tackleberry
Ich hab dir hier nochmal beschrieben, was grundlegend zu testen ist. Hast du ja zum Teil schon gemacht.

https://www.computerbase.de/forum/t...bei-25-gbit-s-glasfaser.2027408/post-25755795

Macht im Prinzip das gleiche wie die gepostete Config. Diese hatte allerdings ein paar Syntaxfehler drin. Daher habe ich sie entfernt, bevor jemand das falsch Copy Pastet.

-w 1M beim iperf kannst du bitte weglassen. Das schönt die Werte nur unnötig. Fehler meinerseits.

Ergänzung (25. Juni 2021)

Ich würde euch daher auffordern, die iperf Tests zusätzlich noch mit einem Live Linux ala Ubuntu durchzuführen.

Davon verspreche ich mir mit deinem Threadrippersystem durchaus viel.

 

[tackleberry]

-w 1M beim iperf kannst du bitte weglassen. Das schönt die Werte nur unnötig. Fehler meinerseits.

Untertreibung des Abends...

Oben mit -w 1M, unten ohne. Beides mal vom 2.5G Server im Rechenzentrum (hat etwas traffic aber i.d.R. sind nur 1-2 Cores der 4 auf 100%). Was genau macht -w 1M? Scheinbar hat es einen brutalen Einfluss. Ich musste gerade schon einmal alle Tests wiederholen weil der Threadripper noch ne mega Ramdisk drin hatte und der Ryzen 100% mit Hintergrundprozessen ausgelastet war. Habe ich halt nicht gemerkt wegen Ultra Silent Wasserkühlung.

edit

-w, --window n[KM]

Sets the socket buffer sizes to the specified value. For TCP, this sets the TCP window size. (this gets sent to the server and used on that side too)

Quelle: https://iperf.fr/iperf-doc.php

Let's Analyse this... 2.5 Ubuntu Server im Rechenzentrum zum Threadripper mit unterschiedlichen -w Parametern...

Wie ist das zu deuten? Wenn ein höherer Buffersize zwischen Client und Server festgelegt wird, steigt der Durchsatz? Teste das eben auch mal mit Ryzen und Threadripper nachdem ich den Ryzen an ein 2.5G Modul klemme.

Hier schonmal das Ergebnis vom Ryzen am 1G Modul zum Threadripper mit -w 10M.

Und mit -w 1M und ohne. Alles mit deaktivierten Fast Forward auf der Bridge und Ryzen am 1G Modul.

Hier auch nochmal Ubuntu Server zu Threadripper mit aktivierten Fast Forward auf der Bridge und -w 100M. Der Server kann halt nur 2.5G und hat auch gut traffic...

 

[Kiso]

Das ist die Window Size. Die Menge an Daten, die übertragen werden kann bis ein ACK fällig wird. Da dein Upload so schlecht ist, wirkt sich das entsprechend stark aus.

 

[tackleberry]

Das ist die Window Size. Die Menge an Daten, die übertragen werden kann bis ein ACK fällig wird. Da dein Upload so schlecht ist, wirkt sich das entsprechend stark aus.

Aber warum bricht das so brutal ein nach dem ersten Wert? Hast auch die Retries gesehen?

 

[Pitchblack73]

So ich glaub das war's mit dem CCR2004...... hab mal zuerst streng nach MikroTik Wiki probiert, bis nix mehr ging. Dann ein Reset configuration; dann streng nach dieser Anleitung:

https://michael.stapelberg.ch/posts/2021-05-28-configured-and-returned-mikrotik-ccr2004-for-fiber7/

bis nix mehr ging..... kein kein https Webfig, kein ssh, kein winbox, kein garnix.......

Hard reset via Reset Button während dem Bootvorgang geht auch nicht..... und tschüss :-)

 

[Pitchblack73]

Also es muss am Tranceiver oder an der Karte liegen..... oder am CCR4 im Zusammenspiel. Wenn ich ein SFP+ 10G RJ45 Modul nehme (auch von Flexoptix) dann mit einem Cat6 Kabel an einen Netgear SX10 Pro Switch und von dort aus wieder in den 1G Port des PCs rein, dann sind 948 Mbps und 943 Mbps up möglich.
Also fast 4-fache uplink Durchsatz als via SFP+ DAC in die SFP+ NIC mit 10G....

Was meinst ihr? Neue NIC (z.B. X520-DA2 die ja auch issues hat mit Mikrotik) oder doch lieber gleich die UDM Pro probieren?

Cheers

P.S. Am schluss ging der Reset doch und da ich nach x-versuchen einfach nix brauchbares hinbekommen habe, bin ich wieder auf meine gestrige Config zurück. Nur die Firewallregeln habe ich überarbeitet. TV7 geht aber immer noch nicht :-/

 

[tackleberry]

Versuch war es wert. RouterOS 7 Beta6

Bin noch weiter am testen. Eigene Netze je PC sind dann auch endlich gleich dran. Wenn ich den Threadripper nicht irgendwo in der hinteresten Ecke der Wohnung versteckt hätte ohne Keyboard, Mouse und Bildschirm in der Nähe, hätte ich ja auch mal mit dem Dual Lan von Lan Port 1 und Lan Port 2 testen können. Aber ja, man sieht halt, dass der Router irgendwie Probleme mit der 2.5G NIC, der 10G NIC und dem 25G WAN hat. -.- Habe vorhin irgendwo gelesen, dass es auch einfach am Buffer des Routers liegt. Das Ding hat halt 4GB Ram. Die CPU sehe ich eigentlich nie über 10% Last.

Btw auch interessante Lekture. Der packt 10 Gbit/s L3 Fowarding mit dem CRS317 (310 Euro)...
https://stubarea51.net/2020/10/12/mikrotik-routerosv7-first-look-l3-asic-performance-testing/

Wird hier auch als Alternativ zum CCR2004 als One Trick Pony empfohlen. Alter...
https://forum.mikrotik.com/viewtopic.php?t=173065

 

[tackleberry]

TV7 geht aber immer noch nicht :-/

TV7 hat wohl gerade ne Störung im Kanton Zürich. Konnte Deutschland gegen Ungarn auch nicht auf der Nvidia Shield gucken. War voll ätzend.

Ergänzung (26. Juni 2021)

Wenn ich ein SFP+ 10G RJ45 Modul nehme (auch von Flexoptix) dann mit einem Cat6 Kabel an einen Netgear SX10 Pro Switch und von dort aus wieder in den 1G Port des PCs rein, dann sind 948 Mbps und 943 Mbps up möglich.
Also fast 4-fache uplink Durchsatz als via SFP+ DAC in die SFP+ NIC mit 10G....

Was ich so im Netz lese ist die allgemeine Empfehlung einfach einen Switch vor den CCR zu knallen.

Ergänzung (26. Juni 2021)

Ich hab dir hier nochmal beschrieben, was grundlegend zu testen ist. Hast du ja zum Teil schon gemacht.

Test 5 ist jetzt mehr oder weniger was Du vorgeschlagen hast, statt die mittlerweile 6 weiteren Module im Router physisch zu entfernen habe ich diese in der Software deaktiviert, alle Firewall Regeln deaktiviert etc... Ergebnis: Mikrotik

Ich pack jetzt den CRS309 aus. Habe eh die Schnauze voll davon der der CCR hier einen auf Düsenjet macht. Habe jetzt schon überlegt ob ich den Vermieter frage ob er mit für 100 CHF im Monat einen seinen abschließbaren Räume im Keller vermietet und ich da runter Glasfaserkabel ziehen kann. Ich habe die letzten 2 Wochen mit Ohropax schlafen müssen weil ich die scheiß Lüfter sogar im Schlafzimmer höre. Sobald die Mikrotik 10G Module mit dem Threadripper via 10G verbunden sind drehen die Lüfter des CRR2004 auf 100%.

Wenn ich nicht 25 Gbit/s geordert hätte, wäre jetzt schon längst der CRS317 bestellt. Der hat halt keinen Slot für das SFP28 Modul zum WAN...

 

[Skysnake]

Die Tests oder die Ergebnisse? Wollte einfach mal dokumentieren wie es sich vom Status Quo entwickelt wenn ich X, Y, Z ändere. Wollte gerade die Config übernehmen, die ein User hier gepostet hatte, aber die ist nun leider gelöscht worden.

Das Ergebnis macht im LAN keinen Sinn. Und genau darum würdest du ja im ersten Schritt gebeten. Erst L2 traffic gerade ziehen und wenn das passt dann L3.

Wie sich jetzt aber herausgestellt hat, gehst du wieder direkt ins Internet. So bringt das aber genau nichts. Ich weiß nicht wie oft das jetzt schon gesagt wurde.

Man muss eine. Schritt nach dem anderen machen um fliegen zu können. Wenn man gleich zum finalen Test geht, wird man auch in 5 Wochen nicht weiter kommen

Wenn ich nicht 25 Gbit/s geordert hätte, wäre jetzt schon längst der CRS317 bestellt. Der hat halt keinen Slot für das SFP28 Modul zum WAN...

Tja, das würde dir aber gesagt. Leise 25G gibt es einfach nicht.

 

[tackleberry]

Wie sich jetzt aber herausgestellt hat, gehst du wieder direkt ins Internet.

Test 5 ist Lan-only. Versuche gerade den CRS309 ins Netzwerk einzubinden. Das ist auch ein Spass. Komme gerade aus unerklärlichen Gründen weden auf den Router noch den Switch per WinBox drauf außer ich trenne Switch vom Router. Dann komme ich zumindest auf den Switch. Ich glaube ich gehe gleich pennen. Warum ich jetzt den CRS309 auspacke? Um da die L2 Performance zu testen und ausschließen zu können, dass es an den Endgeräten liegt.

Und der CRS2004 ist nicht "nicht leise". Das ist Lärmterror wenn die Lüfter voll aufdrehen. Auch darum wurde der CRS309 ausgepackt. Ich klemme jetzt alle Module daran und hänge ihn vor den Router. Das wurde ja auch in diversen Beiträge empfohlen, die ich verlinkt habe. Das die Switching Performance des CRS2004 laut Feststellung diverser Quellen und wie man auch in unseren eigenen Messungen sehen kann quasi nicht vorhanden ist. Der CRS2004 dreht bei 0% CPU Last auf 100% Lüfter weil ihm die 10G SFP+ Module zu heiß sind. Das dürften so 45dB sein.

Ergänzung (26. Juni 2021)

ja, das würde dir aber gesagt. Leise 25G gibt es einfach nicht.

Wie würde sich ein 64 Core Threadripper mit Mora3 als Router schlagen?

 

[tackleberry]

So, ich habe jetzt endlich den verdammten CRS309 am laufen. Ryzen und Threadripper hängen jetzt beide am CRS309.

Ryzen zum Threadripper:

Threadripper zum Ryzen:

Wenn ich die Updaterate vom Threadripper sehe würde ich am liebsten gleich loskotzen. Ryzen ist Bombe aber Threadripper ist schon wieder zum brechen. Wie groß ist die Wahrscheinlichkeit, das der geringe Upload am Kabel, SFP+ Modul, NIC oder sogar Windows liegt? Ja, ich weiß. Live Linux... Ich teste das mal morgen. Asus soll beten, dass deren WRX80 Board unter Linux läuft. Laut Reddit war das wohl in der Vergangenheit eher nicht so der Fall...

PS: CR2004 Lüfter surrt nun auch nur noch leise vor sich hin. 👍

Danke auf jeden Fall allen für Euren Input. Ich wäre hier sonst schon bekloppt geworden.

 

[Skysnake]

Der CRS2004 dreht bei 0% CPU Last auf 100% Lüfter weil ihm die 10G SFP+ Module zu heiß sind. Das dürften so 45dB sein.

Das ist doch gar nicht laut. Die L3 Switche von HPE sind so gerated

Low-speed fan: 65.7 dB, High-speed fan: 70.6 dB

Und das ist jetzt auch noch kein lautes Equipment sondern eher normal.

Laut ist nen Ultrastar Data102 jbod. Da willst du nur mit Gehörschutz daneben stehen, wenn das Ding läuft und Last hat. Das ist sogar unseren Jungs zu laut die es gewohnt sind im Rechenzentrum zu arbeiten.

 

[0-8-15 User]

Das ist doch gar nicht laut.

Dauerhaft 45 dB(A) wäre für mich ebenfalls der reinste Albtraum - da hab ich vollstes Verständnis.

Mich würde mal interessieren wie viel der Init7 Server überhaupt maximal kann.

Auf jeden Fall mehr als 10 Gbit/s in beide Richtungen.

aber i.d.R. sind nur 1-2 Cores der 4 auf 100%

Dann hängst du aber schon voll im CPU-Limit.

---

Nachtrag: Hast du mal Fasttrack ausprobiert?

 

[Skysnake]

Dauerhaft 45 dB(A) wäre für mich ebenfalls der reinste Albtraum - da hab ich vollstes Verständnis.

Kann ich nur bedingt nachvollziehen. An sich ist er ja vergleichsweise leise. Das ist einfach so und hätte man wissen können. So Hardware muss man in nen extra Fraum besser andere Etage packen. Bei mir stünde das Ding im Keller im Rack mit Türen und Seitenwänden. Also zwei Türen dazwischen. Da sollten selbst die 60dB noch halbwegs verkraftbar sein. Und wenn nicht Dämmung auf die Tür bzw Rack. 10G ist halt schon kein Consumer Zeug mehr und 25G dann definitiv überhaupt nicht mehr. Da bewegt man sich in anderen Bereichen und so lange <80dB wegen Arbeitsschutz ist alles ok.

Ist halt wie bei 1000PS sich dann wundern, das er nicht nur 7 Liter auf 100km frisst.