Austausch unter IT-Professionals - Erfahrungen, Tipps, Fachsimpelei

[charmin]

Vor Mitte/Ende Q1 kommt 2025 bei mir höchstens bei komplett neuen Servern zum Einsatz. Dann werde ich aber auch mal das Upgrade von 2022 aus testen. Wenn das sauber funktioniert, wäre es auf jeden Fall eine Erleichterung.

 

[holdes]

Bisher hat es das in der Vergangenheit ganz gut bei mir (alte Maschinen von 2012R2 zu Server2019 bzw. Server2022). Was man auf gar keinen Fall direkt hochziehen kann sind Dinge wie Exchange und Sharepoint aber das sollte ja klar sein . MSSQL sollte aber durchaus klappen. Wenn die Bugs behoben sind probier ich das nochmal konkret aus.

 

[charmin]

Ja gut, Exchange ist eh raus und Sharepoint auch.

 

[Skysnake]

Mal ne andere Frage. Ich verfolge das Thema UltraEthernet recht aufmerksam um zu schauen ob sich da 3ine echte Alternative zu Infiniband ergibt. Dabei bin ich auch über die Tomahawk5 und Jericho3 Switche von Broadcom gestolpert. Irgendwie findet man dazu aber kaum Daten. Hat von euch jemand damit schon was zu tun gehabt und kann eventuell auch etwas bezüglich Performance im Vergleich zu Infiniband sagen?

512x 100G bzw 256x 200G sind schon verdammt sexy. Da würde ich alle aktuellen Maschinen mit einem oder max zwei Switchen realisiert bekommen, wobei jeder host immer auf jeden Switch gehen würde. Also maximal 512 Systeme. Zwar recht klein aber die Systeme sind inzwischen ja auch echt fett geworden mit 100+ CPU cores.

Wenn sehe ich aber nur Daten für 16MB+ Messages, was total Bananne ist. Mich interessieren eher <1kB Messages. Also vor allem die Latenz. Da findet sich aber überhaupt nichts...

Vielleicht habe ich ja Glück und jemand hat so was ab der Hand und könnte mal den Intel MPI Benchmark laufen lassen. Würde mich mal echt interessieren was da so geht.

 

[Skysnake]

Ok, ich deute das Schweigen mal als nein 😞

Ist das echt so abgefahren was ich mache??? Ich habe aktuell eigentlich das Gefühl durch Industrie nur noch ziemliches Standardzeug in den Fingern zu haben. Man ist da halt verständlicherweise konservativer unterwegs.

 

[holdes]

Leute aus dem Bereich Big-Enterprise oder HPC werden hier sicherlich kaum welche unterwegs sein. Die meisten sind dann eher auf administrator.de und anderen (Hersteller)Foren unterwegs.

Selbst mit RDMA over Ethernet werd ich hier vermutlich nur eine der wenigen im Forum sein und selbst das ist noch ne Ecke von Infiniband weg (auch wenn Inifiniband schon ewig existiert).

 

[xexex]

Vor allem sind solche Auswertungen so spezifisch, dass man die entweder firmenintern behält, oder sowieso nicht übertragbar auf andere Konfigurationen wären. Einen Partner kontaktieren, ein PoC erstellen und selbst testen, wäre hier mein Ansatz.

 

[Stock86]

Bei uns im "RZ" fangen wir gerade erst an 10G zwischen den Switch Uplinks auszubauen. Also von irgendwas mit 100G oder 200G auf den normalen Ports sind wir noch sehr weit weg, bzw. werden diese Bandbreiten in den nächsten Jahren auch nie brauchen, weil wir gar keinen Datendurchsatz in dem Außmaß haben. Selbst unsere 1 Gbit/s WAN Anbindung langweilt sich größtenteils. Unsere dicksten Switches sind aktuell HPE FlexFabrics.

 

[Evil E-Lex]

Ist das echt so abgefahren was ich mache?

Aus meiner Sicht, ja. Ich habe den Begriff "UltraEthernet" das erste Mal in deinem Beitrag gelesen. HPC ist halt ne verdammt kleine Nische.

 

[charmin]

Ist das echt so abgefahren was ich mache???

Ja schon. Wir haben 40Gbit für den Storage (Netgear M4300-96X) und sind damit im kleinen Mittelstand schon echt gut unterwegs. (4 Hosts mit jeweils 1TB RAM und 2 CPUs wobei 2 davon auch als Storage Nodes agieren)

 

[Skysnake]

Leute aus dem Bereich Big-Enterprise oder HPC werden hier sicherlich kaum welche unterwegs sein. Die meisten sind dann eher auf administrator.de und anderen (Hersteller)Foren unterwegs.

Hmm müsste ich mir vielleicht mal anschauen. Ich kenne ganz ehrlich keine wirklichen "community" Foren in dem Bereich. Wenn ist man halt in irgendwelchen Forschungsprojekten bzw Unis vernetzt oder halt auf der ISC, SC Cloud Festival usw als Messen bzw Tagungen. Aber da wird dir auf der einen Seite immer versucht etwas zu verkaufen oder auf der anderen Seite sind die zu weit weg von "kleinen" Prodiktivstemen wie den meinen.

Selbst mit RDMA over Ethernet werd ich hier vermutlich nur eine der wenigen im Forum sein und selbst das ist noch ne Ecke von Infiniband weg (auch wenn Inifiniband schon ewig existiert).

Naja, RoCE ist ja auch mit eine Basis für Ultra Ethernet und dem Wettstreit mit Infiniband. In den vergangenen Jahren ist da schon einiges besser geworden bezüglich Latenzen. IB rennt da einfach gegen die physikalische Mauer der begrenzten Lichtgeschwindigkeit.

Vor allem sind solche Auswertungen so spezifisch, dass man die entweder firmenintern behält, oder sowieso nicht übertragbar auf andere Konfigurationen wären. Einen Partner kontaktieren, ein PoC erstellen und selbst testen, wäre hier mein Ansatz.

Würde ich jetzt definitiv nicht sagen. Mit dem IMB gibt es einen sehr guten Round Up Teat fürs Nwtzwerk. Ansonsten gibt es von Cray auch noch einen frei verfügbaren Test für conjestion um die Tail latency zu bestimmen. Habe ich selbst zwar noch nicht gebenchmarkt aber kenne ihn.

Ich finde damit kann man schon sehr gute Vergleichbarkeit erreichen. Vor allem habe ich dann Werte @scale. Von keinen Hersteller bekomme ich mal 1-3 switche und dazu 200+ Netzwerkkarten plus Kabel für nen PoC. Und selbst wenn dann muss ich das alles in meine Produktivsystem einbauen....

Ne das geht nicht. Da braucht man Daten von echten Installationen und auch Erfahrungsberichte von Leuten die das Zeug wirklich nutzen. Bringt ja nicht sich die Hochglanfolien anzuschauen wo ewig dran geschraubt wurde. Mich interessiert wie es im Regelbetrieb mit Wald und Wiesen Anwendungen wie Abaqus, OpenFoam, Ansys, Gromax usw usf läuft.

Bei uns im "RZ" fangen wir gerade erst an 10G zwischen den Switch Uplinks auszubauen. Also von irgendwas mit 100G oder 200G auf den normalen Ports sind wir noch sehr weit weg, bzw. werden diese Bandbreiten in den nächsten Jahren auch nie brauchen, weil wir gar keinen Datendurchsatz in dem Außmaß haben. Selbst unsere 1 Gbit/s WAN Anbindung langweilt sich größtenteils. Unsere dicksten Switches sind aktuell HPE FlexFabrics.

Ich hatte auch schon HPE Flex Fabric im Einsatz. Verdammt teurer Spaß muss ich sagen. Warum gibt man sich das bitte? Oder ist eure Installation so groß? Bei gerade mal Umstieg auf 10G Uplinks würde ich jetzt eher nicht davon ausgehen, es sei denn da hängen Desktops usw dran.

Bei mir ist 1G so langsam selbst fürs Deployment Interface am Aussterben. Wird durch 10G bzw 2x10G ersetzt, wobei ich denn Sinn eher weniger sehe. Da geht normal nach dem Deployment fast nichts drüber. Wenn dann mal noch nen externer Storage der über WAN kommt. Aber das Zeug drückt normal eh nicht so viel als das sich 10G wirklich lohnen würden.

Aus meiner Sicht, ja. Ich habe den Begriff "UltraEthernet" das erste Mal in deinem Beitrag gelesen. HPC ist halt ne verdammt kleine Nische.

Ultra Ethernet kommt nicht aus der HPC Ecke sondern aus dem Cloud bzw AI/ML Bereich weil sie großen Player nVidia nicht als einzigen Netzwerk Lieferant wollen der Ihnen das Geld aus der Tasche zieht.

Ja schon. Wir haben 40Gbit für den Storage (Netgear M4300-96X) und sind damit im kleinen Mittelstand schon echt gut unterwegs. (4 Hosts mit jeweils 1TB RAM und 2 CPUs wobei 2 davon auch als Storage Nodes agieren)

40G ist ziemlich teuer inzwischen wurden auch schon viele Produkte eingestellt meines Wissens nach. Gibt oft nur noch 100G. Selbst 48x1G hat teils 100G Ports....

Aber gut, in der eigenen Blase merkt man teils überhaupt nicht wie exotisch man ist. Man sieht zu schnell nur noch die AWS, Azures usw dieser Welt mit den dicken Systemen und das man selbst halt in der Industrie kleinere Brötchen backt, die aber scheinbar noch immer recht fett sind auch wenn man selbst dem alten Spielzeug nachtrauet.

Wenn ich nur dran denke. Ich hatte mal nen Top 15 System aus der Top500 als User und dann als Admin sie Größe der Top 200 und jetzt nicht "mal" mehr der Top500. Da denkt man schnell, dass das ja alles nur noch normales Spielzeug ist das jeder hat. Aber dem scheint halt doch nicht so zu sein.

 

[charmin]

40G ist ziemlich teuer inzwischen wurden auch schon viele Produkte eingestellt meines Wissens nach. Gibt oft nur noch 100G.

Jep, Gekauft vor 3 Jahren. Das nächste Setup wird dann vermutlich auch auf 100G gehen oder was auch immer dann halt in dem Preisbereich liegt (Nutzungsdauer ist geplant bei 5 Jahren, ggf etwas länger falls die Supportkosten dann noch passen).

 

[crashbandicot]

Ich kenne ganz ehrlich keine wirklichen "community" Foren in dem Bereich.

Ich auch nicht, aber du könntest bei Reddit fündig werden. z.B.

https://www.reddit.com/r/HPC/
https://www.reddit.com/r/sysadmin/

 

[holdes]

Bis 100Gbit finde ich persönlich ist für gehobenen Mittelstand auch schon locker machbar. Gut, seit dem Mellanox Nvidia heißt ist es etwas teurer aber noch gehts halbwegs. Bei uns hängt die Storage im Backend mit 100Gbit dran und günstiger werden solche Ports ja nun auch immer mehr.

Siehe den Unifi Swich. Hat zwar nur 6x100Gbit dran aber wenn man sich 2 davon ins Rack hängt, kommt man da schon auf ernstzunehmende nutzbare Mengen . vMotion mit 100Gbit und mehr macht deutlich mehr Spaß als mit 10Gbit, versprochen.

 

[Skysnake]

Also Administrator.de kann man ja mal voll in die Tonne treten. Nicht viel los und zu Infiniband quasi nichts, Ultra Ethernet null und selbst VXLAN sehr wenig...

Mal die Redit links anschauen

Ergänzung (7. November 2024)

Jep, Gekauft vor 3 Jahren. Das nächste Setup wird dann vermutlich auch auf 100G gehen oder was auch immer dann halt in dem Preisbereich liegt (Nutzungsdauer ist geplant bei 5 Jahren, ggf etwas länger falls die Supportkosten dann noch passen).

Genau aus dem Grund würde ich auf FSCom oder so setzen, da gibt es die Sicherheitsupdates auch noch später ohne laufenden Supportvertrag meines Wissens nach.

Ergänzung (7. November 2024)

Ich auch nicht, aber du könntest bei Reddit fündig werden. z.B.

https://www.reddit.com/r/HPC/
https://www.reddit.com/r/sysadmin/

Danke für die Links!

Leider ist sysadmin direkt ein weiterer Reinfall.

HPC wirkt auf mich jetzt auch eher nach Kindergeburtstag mit Abteilungssystemen und nicht echtem HPC. Also alles unter 100 Knoten nehm ich nicht ernst, wobei so richtig HPC ist es erst ab 1000 Knoten.

Ergänzung (7. November 2024)

Oh man das HPC redit ist echt nicht der Brüller. Das sind Fragen da weiß man sofort das 95%+ der Leute nicht wirklich HPC machen...

Bei dem hier musste ich aber wirklich kurz schmunzeln, weil es den Nagel auf den Kopf trifft 😀

(Be careful; once HPC grabs you, all other IT is dull and mundane)

 

[konkretor]

Also ja leider bist Du mit deiner HPC und Netzwerk Geschichte echt der Zeit voraus.
Ich habe mal etwas gesucht und folgende Webseite gefunden https://packetpushers.net/ Hier gibt es noch einen IRC Channel sowie einen Slack Kanal. Die Inhalte auf der Webseite sind jetzt nicht für Standard KMU. Das wäre vielleicht noch etwas . nanog.org ist eher was für Provider, fragen kostet nichts. Hier die Variante aus Deutschland https://www.denog.de/de/ am 17.11 ist sogar eine Veranstaltung.

 

[Skysnake]

😢

Oh man. Zu meinen besten Zeiten in der Forschung war ich wohl wirklich 5 Jahre+ vor dem Markt. So Dinge wie CXL hatte ich im Prinzip schon vor 10 Jahren gemacht und das ist ja jetzt der heiße Scheiß...

Naja, vielleicht muss ich mich ja doch mal bei AWS, Azure oder so umschauen um an die großen Kisten zu kommen. So nen 100MW Datacenter verantworten wäre schon nett 😀

Wobei optimieren würde mir schon langen.

Aber vielleicht wirbt mich ja doch noch irgendwann AMD, IBM, Intel oder nVidia ab. Hab denen allen ja schon gezeigt wo Sie es verkackt haben...

Irgendwie alles sehr frustrierend aktuell.

 

[Stock86]

Ich hatte auch schon HPE Flex Fabric im Einsatz. Verdammt teurer Spaß muss ich sagen. Warum gibt man sich das bitte? Oder ist eure Installation so groß? Bei gerade mal Umstieg auf 10G Uplinks würde ich jetzt eher nicht davon ausgehen, es sei denn da hängen Desktops usw dran.

Bei mir ist 1G so langsam selbst fürs Deployment Interface am Aussterben. Wird durch 10G bzw 2x10G ersetzt, wobei ich denn Sinn eher weniger sehe. Da geht normal nach dem Deployment fast nichts drüber. Wenn dann mal noch nen externer Storage der über WAN kommt. Aber das Zeug drückt normal eh nicht so viel als das sich 10G wirklich lohnen würden.

Da habe ich mich vielleicht etwas schlecht ausgedrückt. Wir haben aktuell überall 1-2x 10G Uplinks zwischen den einzelnen Switches und planen die jetzt je nach Bedarf und Lifecycle auf 100G Uplinks auszubauen.

Die FlexFabrics haben wir im SAN im Einsatz und es hängen ca. 30 Hosts pro Switch drauf. Jeweils mit 10G aktuell. Warum es das Modell geworden ist, kann ich nicht sagen. Das verantworten die Netzwerkkollegen.

1G haben wir nur noch für Managementoberflächen oder für Clients im LAN.

 

[konkretor]

Hier fällt mir noch ein
https://forums.servethehome.com/index.php?forums/networking.20/

 

[Skysnake]

Taugt serverhehome wirklich etwas???? Also ich lese da ja immer auf der Webseite mit um mal das eine oder andere zu sehen, aber die machen meiner Meinung nach nur unboxing und das wars... aber hey wo kann man sonst in die Kisten mal rein schauen. Gerade Switches.

Ansonsten aber überhaupt nicht mit Phoronix zu vergleichen. S3lbst PCGames Hardware oder Computerbase waren da Meilen weit besser.

PCGames Hardware hatte mal gute CPU und GPU Tests und die Netzteiltests von Computerbase mit der Croma sind legendär!

So was gibt es heute aber irgendwie alles nicht mehr