TrueNas/FreeNas Asus Xg-C100C 10Gbe Nic

[FabianX2]

Hey zusammen,

ich krieg den Asus Xg-C100C nicht mit TrueNAS zum laufen. So weit ich das verstanden habe sind in TrueNas 12 die Treiber dabei. Sicher bin ich aber nicht. Gibts da iwo eine Liste? Erst mal zum Problem:

System: TrueNAS 12 U1 (fresh install) R7 2700/AsRock Rack/64gb Ram/LSI SAS9220-8i (Pool 1 5x8TB), 2x 120 GB SSD (System), 2x1TB NVMe (SSD-Pool), External Drives for Backup, 4TB intern, Asus XG-C100C. Das Nas hat 4 Nics (2x 1Gbe 1x für IPMI 1x 10GbE C100C, an der Workstation 1x GbE 1x 10Gbe C100C).
Ich habe ein Unify Netzwerk. Die 10GbE switches sind mir aber noch zu teuer. Daher soll ein peer to peer zwischen NAS und Workstation das restliche 1Gbe Netzwerk ergänzen. Dazu hab ich 2x C100C von Asus gekauft.

Problem 1: Wie erkenne ich welcher Nic welcher ist. TrueNAS zeigt in der UI 3 Nics an. Die beiden 1GbEs erkennt man. Der 3. hat außer dem Namen (ue0) überhaupt keinen Namen. Woher soll ich denn jetzt wissen obs der IPMI Nic oder der 10 GbE ist? In der Shell hab ich auch keine weiteren Infos gefuden. Wie dann den C100C aktivieren?

Problem 2: Ich bin mal davon ausgegangen dass der ue0 der 10GbE Nic ist. Hab dem eine statische IP gegeben (111.1.1.55/24) bei Peer to Peer gibts ja keinen DHCP. Der Worksation hab ich 111.1.1.56 auf 255.0.0.0 gegeben und auch mal 255.255.255.0 probiert - einfach nur falls ich das prinzip missverstanden hab. In beiden Fällen 100% packet loss. Der Rest also das 1Gbe Netzwerk arbeitet zwischen 192.168.1.1 und 192.168.1.254 normal sind ca. 20 Geräte mit Ips unterwegs. Davon aber max 2 heavy user.

Danke schon mal

 

[madmax2010]

1. https://www.google.com/search?client=firefox-b-d&q=+Asus+Xg-C100C++freebsd

2. https://www.reddit.com/r/freenas/comments/b80tx9/help_asus_xgc100c_10gbit_card/

viel Spass

Die tun ueberigens out of the box:
https://www.ebay.de/itm/Mellanox-ConnectX-2-10-Gigabit-NIC-10GBe-SFP-Single-Port-Server-Adapter/163074139775?epid=1246994607&_trkparms=ispr=1&hash=item25f7f9e67f:gRMAAOSwrjZbD65q&amdata=enc:AQAFAAACcBaobrjLl8XobRIiIML1V4Imu%2Fn%2BzU5L90Z278x5ickkfOCvCjTOBWK8pwriaolq5uHUHA8BSUWlgvc1Q13hRK8dEwt8MbSYzUaylbj21Y28aWUnIzu8Qyu5GzDYTpXIRFTyWJq%2FuQbCN%2BQfDYtU4aG%2BER6CWCF65Q%2F8KdyEos1LHcoQpHJ4HZLQLE9cDjieJ%2BWsd5f2shSP%2B1kOVX%2B5nZdu6zstF4NvS8DhppdpXaAuch%2BxZTJ%2Btt7vLjruHmpoLxZDSNUg1rp2UnVKy9Jxkbv3hUD6nmoixRDSMRPMoqSG7kD%2Bo5tk2iWemUm8XJ1tnsr6p7d1VzdGx0GNjhlqGi5SglAW6pfnAl%2FGxLb25Vtm0lG2o%2FXEhlJ86RhY0ehv6c8R52OhxicmZ5S1NKzIluvVBjbHT9CudI7nKwQ1KUQWTDWaQYaRXcaA0JONOxePd%2BzQnwefumYPybuGvqtbsxneFNiLZuaIhHyHYmMrXHZt7%2BhmKM5UyxjRmsSxKsExftw4g35X2f4AevOeBssNiMcTc%2B9jXInOdyOXep0M3%2FMkuHKabEZO6q4Sn0V73T0yS1tkb9PHb28CyGCqlN1X6vzeLv2MVm%2FZpYmQB%2Bth08OqsDxF9tp4Vtxt2n6HaNa61veVg6D7ekYxo80CpHt8p7sRGoC6lhGA%2B3ajl8j5EaD3fHcQz2krfBcO2fgJYDMb1gf%2F2q2osuGyARJrReRPpsvhv%2Fe8fFN3gD%2BK2iZSyyH3H47oHEB2PKrRKmbQcF0IaxOzyUl9%2FinCSSS7ksr6o4mlmFY36sLEGjuB3c63BWhr8OlfG5G4PwTno76OO1DbZA%3D%3D|cksum:163074139775b1fa8c85ee654455b648e85c5f1f84fb|ampidL_CLK|clp:2334524&LH_BIN=1

https://www.ebay.de/i/193560069016?...MIuvGw_uDs7QIVluh3Ch3RPgpxEAQYAiABEgK6YfD_BwE

 

[Groug]

Du hast es mehrfach missverstanden.. /24 = 255.255.255.0 und 111.1.1.55 ist eine öffendliche IP-Adresse.
Die Karte wird denke ich nicht von Freebsd unterstützt.

 

[FabianX2]

@madmax2010
Wie ist das hier dann zu verstehen: https://jira.ixsystems.com/browse/NAS-101990

 

[madmax2010]

@Groug Doch schon, aber das tut weh :/ Habe ebem mal foren durchgelesen

auf github liegt v0.0.5 - letzter commit irgendwann 2019

@FabianX2
Der treiber ist irgendwie in Entwicklung, aber niemand hat richtig lust darauf. Der Chipsatz findet im fuer FreeBSD relevanten Umfeld auch wenig verwendung.

In FreeBSD12 wurde der Treiber aufgenommen, ist jedoch experimental - nicht sicher ob er in den Public Builds vorhanden ist.

 

[FabianX2]

Du hast es mehrfach missverstanden.. /24 = 255.255.255.0 und 111.1.1.55 ist eine öffendliche IP-Adresse.
Die Karte wird denke ich nicht von Freebsd unterstützt.

Gut glaube jetzt schlauer zu sein. Die Sub darf bei beiden Netzwerken gleich bleiben. Dann lass ich mein bestehendes Netz wie es ist auf 192.168.1.x und gehe mit dem 10GbE auf 192.168.5.x beide auf /24 das sollte dann ja passen oder?

Ergänzung (27. Dezember 2020)

@Groug Doch schon, aber das tut weh :/ Habe ebem mal foren durchgelesen

auf github liegt v0.0.5 - letzter commit irgendwann 2019

Ok du bist dir also sicher dass das nicht demnächst implementiert wird? Oder schon ist? Ich habe die Karte nur gekauft weil ich vermutet hatte das es ab 12.0 nativ unterstützt wird. Habe wenig Lust jedes mal den Treiber zu installieren wenn ein Update kommt. Wobei es ja auch da Wege geben soll. Widerspricht aber dem Grundgedanken eines wartungsarmen Systems.

Dann müsste ich in Folge eine der Karten zurück schicken. Kein Beinbruch aber unschön. Ich hab jetzt gut ein Jahr FreeNAS als VM in Proxmox genutzt. Dank Passthrough eines zusätzlichen Sata Controllers absolut perfekt. ZFS möchte ich nicht mehr missen. Da sich mein Einsatzzweck verlagert hat brauche ich Proxmox nicht mehr zumal man ja auch mal ne VM unter TrueNAS aufsetzten kann. Wäre jetzt ärgerlich das System zu wechseln nur weil es aktuell keinen Treiber gibt. Gäbe es denn gute Alternativen. ZFS und VMs und genauso einfach wäre schön. FreeNas hab ich vor über einem Jahr aufgesetzt und nie wieder angeschaut. Zumindest bis ich mir jetzt den umstieg auf 10GbE und Nativ statt VM in Proxmox eingenbikdet hab.

 

[snaxilian]

Wie erkenne ich welcher Nic welcher ist.

ue0 deutet darauf hin, dass es ein per USB verbundener Ethernetadapter ist... Du verschweigst ja welches Board du hast also frage dies das Handbuch/Händler/Hersteller ob das IPMI Interface per USB mit dem darauf installierten OS verbunden ist.

Soweit ich das sehe ist der Treiber zwar mehr oder weniger drin aber nur im Development Zweig eben weil unstabil.
Ansonsten würde ich mich an deiner Stelle schlau machen wo und wie du unter FreeBSD heraus findest welche Treiber vorhanden sind und dann prüfen ob der für diese NIC dabei bist.
Oder holst die eine der beispielhaft verlinkten 10G Karten vom Gebrauchtmarkt bei denen definitiv bekannt ist ob diese nativ mit Truenas funktionieren.

 

[pas06]

Was mir noch einfällt wäre Truenas Scale, das basiert auf Linux und bringt daher Unterstützung für viel mehr Hardware. Dies ist allerdings noch im frühen Stadium und soll in ca 6 Monaten in Release gehen. https://www.truenas.com/community/threads/truenas-scale-20-12-is-released.89597/

 

[Groug]

@Groug Doch schon, aber das tut weh :/ Habe ebem mal foren durchgelesen

auf github liegt v0.0.5 - letzter commit irgendwann 2019

Ich meinte auch nicht unmöglich sondern nur out of the box...

Gäbe es denn gute Alternativen.

Ja, nutze eine Netzwerkkarte die unterstützt wird. Intel X520-DA1 mit SFP+ oder X540-T1 mit BaseT.

 

[madmax2010]

+1 fuer ide X520-DA1 - Mit keiner 10G karte hatte ich so wenige Probleme. Die tut einfach.

 

[FabianX2]

ue0 deutet darauf hin, dass es ein per USB verbundener Ethernetadapter ist... Du verschweigst ja welches Board du hast also frage dies das Handbuch/Händler/Hersteller ob das IPMI Interface per USB mit dem darauf installierten OS verbunden ist.

Soweit ich das sehe ist der Treiber zwar mehr oder weniger drin aber nur im Development Zweig eben weil unstabil.
Ansonsten würde ich mich an deiner Stelle schlau machen wo und wie du unter FreeBSD heraus findest welche Treiber vorhanden sind und dann prüfen ob der für diese NIC dabei bist.
Oder holst die eine der beispielhaft verlinkten 10G Karten vom Gebrauchtmarkt bei denen definitiv bekannt ist ob diese nativ mit Truenas funktionieren.

Ich nutze ein ASRock Rack X470D4U. Handbuch hab ich durchgesehen.

Ich werde aus dem Digram nicht ganz schlau. Ich vermute die 2 USB Ports und die Realtek RTL8211E (IPMI Nic) teilen sich den PCIe Lane Strang direkt von der CPU. Habe vorsichthablber noch eine Mail an den Hersteller geschrieben. Bisher war es immer so dass der IPMI Nic nicht in FreeNAS aufgetaucht ist.

Was den Treiber angeht habe ich schon gestern in der TrueNAS Community angefragt aber noch keine Antwort. Der aktuellste Release ist die Stable U1 die ich nutze. Wenn ich die relesase Seite richtig verstehe gibt es keine aktuellere Beta. https://www.truenas.com/docs/hub/intro/release-notes/ Ich werde gleich trotzdem mal testweise die Beta Variante aufsetzten vll. gibt es ja einen Unterschied.

Was mir noch einfällt wäre Truenas Scale, das basiert auf Linux und bringt daher Unterstützung für viel mehr Hardware. Dies ist allerdings noch im frühen Stadium und soll in ca 6 Monaten in Release gehen. https://www.truenas.com/community/threads/truenas-scale-20-12-is-released.89597/

Danke das ist mir zu noch zu experimentell. Ich behalte das aber auf jeden Fall im Auge. Ist sicher einen Test wert sobald es stable ist. Hört sich mega interessant an. Grade ein bisschen drüber gefolgen. Ist genau das was ich brauche. Damit fällt dann der Abschied von Proxmox nicht schwer. Hoffe das kommt schnell

Ja, nutze eine Netzwerkkarte die unterstützt wird. Intel X520-DA1 mit SFP+ oder X540-T1 mit BaseT.

+1 fuer ide X520-DA1 - Mit keiner 10G karte hatte ich so wenige Probleme. Die tut einfach.

Hab keine Lust jetzt noch SFP+ Module zu kaufen. Daher jetzt eine X520-T1 für 45€ geschossen. Fühlt sich aber ein wenig wie aufgeben an. Ich hoffe ich krieg die Asus Karte trotzdem noch zum laufen.

 

[Groug]

Fühlt sich aber ein wenig wie aufgeben an.

Nein, du nutzt nur eine gute Netzwerkkarte statt des Billigteils von Asus. Intel kümmert sich wenigstens um Treiber auch abseits von Windows.

Ich hoffe du hast eine X540-T1 genommen. EIne X520-T1 gibt es glaube ich nicht.

 

[FabianX2]

Ich hoffe du hast eine X540-T1 genommen

Ja. Nur ein Tippfehler. Eine Asus behalte ich im Windowsrechner die andere geht ggf. zurück. Ganz aufgegeben habe ich noch nicht. Die Intel ist erst am 04.01 da. Bis dahein würde ich die Asus Karte trotzdem gerne zum laufen bekommen haben.

Ergänzung (27. Dezember 2020)

Ich vermute die 2 USB Ports und die Realtek RTL8211E (IPMI Nic) teilen sich den PCIe Lane Strang direkt von der CPU.

Korrektur. Nein die IPMI Karte kann nicht über PCIe angebunden sein. Die CPU hat 24 Lanes - 4 (Chipsatz) - 20 Lanes für den X16,X8,X4 Slot = 0

 

[madmax2010]

nope. da kann ein PCIe Switch vor haengen und auf einmal werden aus 1 Lane 100 lanes

 

[FabianX2]

Habe das Rätzel inzwischen gelößt. Der angegeben Nic war tatsächlich der IPMI Nic. Die 10GbE Karte wurde nicht erkannt. Zum Thema Treiber hab ich von den TrueNAS Jungs auch nichts neues. Sollte ich TrueNAS Core nutzen wollen muss ich mich wohl gedulden bis die Intel Karte da ist. Voraussichtlich erst 04.01

Inzwischen habe ich aber testweise Trunas Scale aufgesetzt. Ich spiele fast mit dem Gedanken das Experiment zu wagen. Macht auf den ersten Blick einen guten Eindruck. Im Notfall hab ich ja Backups. Hier laufen die Asus Karten problemlos.

Von den ersten Testergebnissen bin ich positiv überrascht. Cat5e 3m von Server zu Patch Panel, Patch Panel ca.25m cat6e zu Dose und dann Dose zu PC nochmal 3 Meter Cat 5e. Fast durch gängig über 1000MB/s. Zumindest von NAS auf den PC. In die andere Richtung bricht der Transfer nach einem guten Start ein. Ist ein NVMe Pool auf dem NAS und eine NVMe im Rechner. Idee was da schief läuft?

Kann das mit dem Swap zu tun haben? Bei der Installation wird man sowohl bei TrueNas Core als auch jetzt bei Scale gefragt ob man Swap einrichten möchte. Allerdings nicht spezifischer wie groß oder auf welcher Platte. War daher unsicher und hab zugestimmt. Ich geh also davon aus dass der Swap auf der SSD liegt auf der ich auch TrueNas installiere. Das ist nicht die schnellste SSD. Kann ich das auf eine auf eine schnellere Platte verlagern? Wobei ich mir das als bottleneck fast nicht vorstellen kann. Ram ist ordentlich frei, die NVMe kommt nicht mal in schwitzen und selbst die lagnsame SSD kann deutlich schneller lesen/schreiben als 140 mb/s.

Ergänzung (28. Dezember 2020)

nope. da kann ein PCIe Switch vor haengen und auf einmal werden aus 1 Lane 100 lanes

Spannend wusste nicht dass sowas geht. Aber macht ja auch Sinn Lanes aufsplitten zu können. Wenn ich alt und grau bin geh ich nochmal in die Uni und studier diesmal Informatik.

 

[snaxilian]

Kann das mit dem Swap zu tun haben?

Nein. Truenas richtet sich an technisch versiertere Anwender, die in der Lage sind, die Dokumentation zu lesen. Swap wird afaik auf allen Data Laufwerken angelegt, Standardgröße sind 2 GiB, zumindest war es bei Freenas 11 so.
Kein Swap auf Boot-, l2arc, zil/slog oder fusion Laufwerken.

Bei Freenas 11 war standardmäßig iperf3 installiert, kannst ja prüfen ob das bei Truenas Scale auch der Fall ist und dann mal das Netzwerk in beide Richtung testen um es explizit auszuschließen, dass es an der NIC liegt. Parallel auch einen Blick auf die CPU werfen, bei dem Treiber zu der Asuskarte liest man hier und da, dass dieser stark die CPU belastet, vielleicht ist dies bei eingehendem Traffic höher als bei ausgehendem.

 

[FabianX2]

Problem gelößt Windows wars. Ich habe testweise ein Linux aufgestzt und hatte in beide Richtungen vollen Durchstatz. Zurück in Windows hat das spielen mit Jumboframegröße, Trancive und Recive Buffer kurze Verbesserungen erbracht. Der volle Durchsatz konnte länger gehalten werden. Ist aber weiterhin eingebrochen. Die Lösung war ein Update auf 20H2 was genau das verändert hat kann ich nicht sagen. Ergebniss ist auf jeden Fall "voller" Durchsatz (Schnitt 1062Mb/s, max 1102Mb/s). Das funktioniert jetzt konstant interessanterweise aber nur wenn Jumboframes deaktiviert sind und die trancive und revive buffer nicht über 1024 stehen.

Nein. Truenas richtet sich an technisch versiertere Anwender, die in der Lage sind, die Dokumentation zu lesen.

Du bist ein ganz toller Typ. Danke dass du dein Wissen so gnädig mit mir teilst. Danke ich werde mit in Zukunft auch mehr Mühe geben genauer zu lesen. Zum Thema: Mir war beswusst dass Swap bei erstellen eines pools angelegt wird. Zumindest afaik. Die Frage war was da bei der Installation angelegt wird. Ich hab jetzt ein wenig gelesen und probiert und vermute fast dass nichts passiert. Es ist nur die Voreinstellung ob sobald ein Pool erstellt wird swap angelegt wird.

 

[snaxilian]

Du bist ein ganz toller Typ.

Danke für das Kompliment oder wie es jemand anderes hier im Forum sinngemäß in seiner Signatur hat:
"99% der Fragen könnten beantwortet werden wenn der TE genau das macht was 99% der Antwortenden macht: Die Frage bei Google eingeben."

Genau genommen entscheidet die Einstellung ob die Swap Partition angelegt wird oder nicht wenn Laufwerke zu vDevs zusammen gefasst werden, also unabhängig von den Pools. Wird diese Einstellung nachträglich
geändert wirkt sich das übrigens auf neue/weitere Laufwerke aus, die Konfiguration bei bestehenden Laufwerken wird nicht angepasst.
Bei der Installation wird erst einmal nur abgefragt ob zukünftig solche Swap-Partitionen angelegt werden sollen oder nicht aber solange Laufwerke für irgendwelche vDevs konfiguriert werden, gibt es kein Swap.

 

[FabianX2]

Update: Nach 2 Tagen TrueNas Scale muss ich bestätigen dass es noch im Alfa Zustand ist. Sowohl was den Funktionsumfang als auch die Bugs angeht. Bspw. gibt es noch keine ACL Rechteverwaltung und es sind häufiger Neustarts nötig. Es bleibt aber durchaus nutzbar wenn man gewillt ist sowas mitzumachen. Die Performace an sich war gut. Sowohl was die Recourcen Auslastung angeht als auch die Transferraten out of the Box ohne jeden Eingriff (ZFS2 Pool mit 5x8TB gut 500mb/s lesen und schreiben, NVMe Pool am 10GbE Limit). Ich bin trotzdem wieder zurück zu TureNAS Core. Das läuft mit den 1GbE Nics so schnell es die Verbindung eben zulässt. Widererwarten kommt der 10GbE Intel Nic aber doch noch in diesem Jahr. Ich mach dann ggf. einen neuen Thread auf der sich um die Optimierung dreht.

Danke erst mal an alle die mitgedacht und geholfen haben.