News In eigener Sache: Das neue Server-Setup von ComputerBase (2021)

[Web-Schecki]

Ließt Du überhaupt oder nimmst einfach nur Absätze und reimst Dir irgendwas daraus zusammen.

Also ehrlich gesagt muss ich mir deine Texte auch zusammenreimen... Was genau wolltest du uns jetzt sagen? Dass ein Ping von rund 20ms "mies" ist, weil andere Leute an anderen Standorten zu anderen Hosts einen Ping von <5ms haben? Ich verstehe es wirklich nicht. Die Aussage des anderen Users war nur, dass er CB jetzt schneller erreicht als irgendeinen unternehmensinternen Host. Je nach Standort dieses Hosts ist das auch nicht verwunderlich.. Das wirkte auf mich auch nicht wirklich wie ein versuchter Schwanzvergleich oder ähnliches.

Dein Terminaloutput war halt etwas komisch, weil du zu verschiedenen Hosts in Frankfurt eine sehr unterschiedliche Latenz hast. Neugierige Menschen wollen dann spontan wissen, warum das so ist. Kommt der Output vielleicht einfach von verschiedenen Rechnern an verschiedenen Standorten? Dann könnte man vermeiden, dass andere User rätselraten, in dem man das explizit dazuschreibt?!

 

[startaq]

Ist das schnell genug für euch? Also bezüglich Metadaten.

Ja, die Geschwindigkeit ist für unsere Zwecke absolut ausreichend. Kann gut sein, dass extra Metadaten-Drives nochmal einen Schub bringen würden, aber dafür ist die I/O-Auslastung einfach zu gering als dass sich das lohnen würde.

 

[xexex]

Also 22kW dürften normal völlig ausreichend sein für Colocation

Wie gesagt, die meisten Colocation Anbieter legen auch nur 2 Stromkreise in den Schrank. Zwischen ausreichend und optimal gibt es da aber Unterschiede. NetCologne legt sechs Stromkreise in den Schrank und du kannst die Geräte dementsprechend aufteilen.

Manchmal macht es einfach sinn, sich mal auch die Details von solchen RZs anzusehen und nicht gleich das erstbeste oder billigste zu nehmen.

https://www.netcologne.de/geschaeftskunden/it-services/colocation/

Als ich in Frankfurt letztens bei einem großen Anbieter in jedem Schrank nur so "billige" APC Steckerleisten sah, wusste ich nicht ob ich lachen oder lieber weinen sollte.

 

[Steffen]

Für das tägliche MySQL-Backup nutzen wir Percona Xtrabackup + zstd-Komprimierung + age-Verschlüsselung (damit hat das Backup der 38-GB-DB schon auf den alten Servern nur 5 Minuten gedauert) [...]

Auf den alten Servern hat das Backup zuletzt 5:27 Minuten gedauert, auf den neuen Servern heute Nacht 3:48 Minuten.

Dass ihr Google Analytics laufen lasst ist nicht so meins, vielleicht braucht ihr das zur Finanzierung. Ich geb euch mein Geld mittlerweile lieber direkt.

Danke! Bei ComputerBase Pro nutzen wir seit Oktober 2020 kein Google Analytics mehr. Und das Zählpixel von INFOnline / IVW / AGOF nutzen wir seit Februar 2021 generell nicht mehr.

PING www.computerbase.de(www.computerbase.de (2a00:f48:2000:1::137)) 56 data bytes
64 bytes from www.computerbase.de (2a00:f48:2000:1::137): icmp_seq=1 ttl=54 time=20.7 ms
64 bytes from www.computerbase.de (2a00:f48:2000:1::137): icmp_seq=2 ttl=54 time=20.5 ms

Kann es sein, dass das Problem nur mit IPv6 existiert? In meinen Tests ist der Ping mit IPv6 gerade auch deutlich höher (bei anderen Teammitgliedern aber nicht), ich spreche das mal an.

Ihr habt also 2 Server und nen S3 für offsite Backup. Wie macht ihr denn dann den Wechsel zwischen den Servern?

Manuell.

Wirklich zstd oder pzstd? Pzstd rockt schon gut.

Ich rufe "zstd" auf, nicht "pzstd". Dürfte also zstd sein, wenn da im Hintergrund keine Magic geschieht.

Wie findest du die SuperMicros im Vergleich zu den HPE Servern? Ich wäre v.a. interessiert an foldgenden Dingen: Remote Console, Remote Steuerung (Neustart etc), Boot-Dauer, SNMP-Unterstützung, Firmware-Updates.

Ich finde das HPE iLO 5 klar besser als das Supermicro IPMI. In der Supermicro-Konsole habe ich zum Beispiel Probleme mit Sonderzeichen (Workaround: lokal englisches Tastatur-Layout einstellen), bei HPE funktioniert das einfach out-of-the-box. Beim Konfigurieren der Alert-Mail gibt es einen Bug, dass beim Absenden des Formulars immer silent das zuvor mal eingetragene Passwort zurückgesetzt wird, es sei denn man gibt es jedes Mal wieder neu ein. Ein Reboot hat auf den alten Servern immer rund 3 Minuten gedauert, das ist gefühlt bei den neuen Servern nicht anders. War aber früher bei Dell auch nicht besser, wenn ich mich richtig erinnere. Server-Boards genehmigen sich da offenbar generell viel Zeit. SNMP nutze ich nicht. Firmware-Updates sind via Supermicro-IPMI nur für das BIOS und das IPMI selbst möglich, bei HPE iLO konnte man auch die Ethernet-, RAID- und SSD/HDD-Firmware via IPMI aktualisieren (ok, Hardware-RAID gibt es ja jetzt nicht mehr, der Punkt wäre gelöst). Zudem hat das Supermicro-IPMI auf unseren Servern (bzw. auf dieser Server-Serie mit bestimmten NVME-SSDs) einen Bug, der dazu führt, dass die NVMe-SSDs ein paar Tage nach dem Server-Start immer virtuell verschwinden (sind natürlich noch da, Linux merkt davon auch gar nichts, aber das IPMI sieht sie halt nicht mehr und löst dann ein IPMI-Event aus). Da kommt von Supermicro hoffentlich noch ein Update (die bisherigen Versuche haben noch nicht gefruchtet).

Das soll jetzt aber auch nicht zu negativ klingen. Ich komme auch mit dem Supermicro IPMI klar. Und die Kosten habe ich in meiner Betrachtung auch außenvor gelassen.

welche Kernel Parameter tunings verwendest du eigentlich?

Wir tunen diverse sysctl-Settings das Netzwerk und speziell Netfilter betreffend und aktivieren BBR (https://blog.cloudflare.com/http-2-prioritization-with-nginx/).

Das RZ von 23M ist Luftlinie ca. 400 bis 500m von meiner Arbeit entfernt und wurde auch erst innerhalb der letzten 3 bis 4 Jahre gebaut.

So war das nicht gemeint, ich habe "neues Rechenzentrum" jetzt geändert in "anderes Rechenzentrum".

Ihr nutzt S3 als Speicher, habt aber 99% im cache weil S3 teuer ist. Dumme frage, aber wo liegt der cache (ram oder nvme) und wie gross ist er?

NVMe (und wegen des Linux Page Cache letztendlich auszugsweise natürlich auch im RAM). Ist aktuell eingestellt auf 1 TB für Downloads und 1 TB für Videos. War auf den alten Servern deutlich kleiner, weil dort am Ende der Speicherplatz knapp wurde.

 

[ElisaMüller]

NVMe (und wegen des Linux Page Cache letztendlich auszugsweise natürlich auch im RAM). Ist aktuell eingestellt auf 1 TB für Downloads und 1 TB für Videos. War auf den alten Servern deutlich kleiner, weil dort am Ende der Speicherplatz knapp wurde.

Super spannend die Einblicke! Top!
Die Webseite selbst und die Bilder werden kommen aus dem REDIS cache?
Der Redis Cache ist wiederum nicht ganz 256GB RAM?
Habt ihr da Zahlen, wie hoch die hit ratio ist?
Tut mir echt leid, falls die Fragen dämlich sind, ich kenne mich mit Webhosting nicht aus.

 

[Skysnake]

Ich rufe "zstd" auf, nicht "pzstd". Dürfte also zstd sein, wenn da im Hintergrund keine Magic geschieht.

Dann probier mal pzstd und bekomm große Augen. Der Unterschied ist brachial bei der Kompression. Da kann man dann auch über die höheren Kompressionsstufen nachdenken weil es noch immer sehr schnell ist.

Wir tunen diverse sysctl-Settings das Netzwerk und speziell Netfilter betreffend und aktivieren BBR (https://blog.cloudflare.com/http-2-prioritization-with-nginx/).

Ich schau es mir mal an. Danke.

 

[greatdisaster]

Kann es sein, dass das Problem nur mit IPv6 existiert? In meinen Tests ist der Ping mit IPv6 gerade auch deutlich höher (bei anderen Teammitgliedern aber nicht), ich spreche das mal an.

Sowohl gestern als auch heute habe ich von mir (Telekom DSL) keinen merkbaren Unterschied zwischen ipv4 und IPv6 in der Latenz. Sind also nicht unbedingt generelle Probleme

Ping wird ausgeführt für computerbase.de [212.83.33.137] mit 32 Bytes Daten:
Antwort von 212.83.33.137: Bytes=32 Zeit=10ms TTL=57
Antwort von 212.83.33.137: Bytes=32 Zeit=10ms TTL=57
Antwort von 212.83.33.137: Bytes=32 Zeit=10ms TTL=57
Antwort von 212.83.33.137: Bytes=32 Zeit=10ms TTL=57

Ping wird ausgeführt für computerbase.de [2a00:f48:2000:1::137] mit 32 Bytes Daten:
Antwort von 2a00:f48:2000:1::137: Zeit=10ms
Antwort von 2a00:f48:2000:1::137: Zeit=11ms
Antwort von 2a00:f48:2000:1::137: Zeit=11ms
Antwort von 2a00:f48:2000:1::137: Zeit=11ms

 

[foo_1337]

Genau deshalb wären halt mal traceroutes via v4 und v6 von denen, die da große Unterschiede sehen interessant

 

[Raziel-Noir]

Nachteil - Wenn du alles von HP zu Projektpreisen beziehst und die Server später nicht mehr aufrüstest, kannst du bei den OEMs sogar günstiger als bei Supermicro landen. UEFI Updates sind bei Supermicro grausam, es wird immer das komplette UEFI auf die Standardeinstellungen zurückgesetzt und auch die Pflege halte ich für relativ kurz.

Das ist mir bei den drei Updates für meine 2 A2SDi-Boards nicht aufgefallen (1.3-1.4. -1.5)
Hast du das Update per IPMI oder vor Ort gemacht?
Per IPMI hat er zumindest auf meinen Boards alle Einstellungen übernommen.

 

[Skysnake]

Ist mal so und mal so. Ist jetzt aber kein alleiniges Problem von Supermicro...

Aber deswegen kann man die Bios Settings ja per ipmi auch wieder setzen. Hässlich wird es nur, wenn die ipmi Settings zerschossen werden, dann muss man halt die Kisten manuell einschalten und BMC vom Host aus konfigurieren. Da ist man dann froh, wenn das automatisch geht.

So ne BMC/CMC/Bios Update Runde ist aber nen Tag Arbeit. Wobei es fast egal ist ob 300 oder 3000 Server.

 

[xexex]

Ist jetzt aber kein alleiniges Problem von Supermicro...

Durchaus! Habe ich zum Beispiel bei Fujitsu noch nie so erlebt. Entweder Update über IPMI oder einfach unter Windows das Wartungspack ausführen, einmal neu starten und fertig.

Bei Supermicro ist gerade die Update Funktion über IPMI ein kostenpflichtiger Aufpreis und nicht für alle Server verfügbar, ein Windows Update Tool gibt es nicht und die Aktualisierung einzelner Server darf man über die UEFI Shell ausführen.

 

[Raziel-Noir]

Was mir an (meinen) Supermicroboards aber aufgefallen ist:
Die einstellbaren Lüfterkurven sind für die Katz. Egal welche Option -Lüfter ist immer auf 100%. Und das ohne Not.
Im Rack im RZ sicher vernachlässigenbar. Aber meine Boards sind eher für MicroServer und/oder NAS gedacht und die stehen doch gerade im DIY gern mal in entsprechenden Gehäusen (ChenBro/Eolize/Intertech u.ä.) in Räumen, in denen sich auch Personen längere Zeit aufhalten.

Ergänzung (1. Dezember 2021)

Durchaus! Habe ich zum Beispiel bei Fujitsu noch nie so erlebt. Entweder Update über IPMI oder einfach unter Windows das Wartungspack ausführen, einmal neu starten und fertig.

Bei Supermicro ist gerade die Update Funktion über IPMI ein kostenpflichtiger Aufpreis und nicht für alle Server verfügbar, ein Windows Update Tool gibt es nicht und die Aktualisierung einzelner Server darf man über die UEFI Shell ausführen.

Uff, die Installation, Inbetriebnahme des ersten Boards war ein kleines "Abenteuer". Besonders wenn man mit Servertechnik bis dato keinerlei Erfahrung hat und bei Linux extrem viel Potential bei dem noch Anzueigneten Wissen vorhanden ist
Mittlerweile geht es, und da es als Hobby keine relevanten Daten in Gefahr bringt, hab ich mich mit den Boards gut angefreundet und finde Sie wirklich gut! Einer läuft als Familienserver & der zweite als reine Audiophile RipNas mit einem DAC.

Aber wie sehr macht ein Windows Update-Tool bei Serverhardware Sinn? Aus der IPMI/ILO Whatever-Fernwartung Heraus ist doch eigentlich am sinnvollsten?!

 

[Skysnake]

Durchaus! Habe ich zum Beispiel bei Fujitsu noch nie so erlebt. Entweder Update über IPMI oder einfach unter Windows das Wartungspack ausführen, einmal neu starten und fertig.

Bei Supermicro ist gerade die Update Funktion über IPMI ein kostenpflichtiger Aufpreis und nicht für alle Server verfügbar, ein Windows Update Tool gibt es nicht und die Aktualisierung einzelner Server darf man über die UEFI Shell ausführen.

Es gibt mehr Hersteller als Fujitsu und Supermicro. Ich will hier aber kein blaue game spielen...

Ansonsten, wer macht so was über Windows?

Die einstellbaren Lüfterkurven sind für die Katz. Egal welche

Sind das Chassis mit mehreren Nodes? Wenn ja, ist das normal wenn ein node fehlt und so gewollt. Wenn es einzelne Nodes sind, mal schauen ob alle Fans eingesteckt sind.

Ansonsten goto supermicro support. Die sind da eigentlich ansprechbar für solche Probleme.

 

[xexex]

Ansonsten, wer macht so was über Windows?

Wenn es geht wieso nicht? Für den Kunden ist es letztlich ein leichteres Unterfangen, wenn er schlichtweg selbst die Wahl hat. Im besten Fall läuft auf dem Server der Management Agent und die UEFI/BMC Updates werden im Rahmen einer normalen Wartung automatisch eingespielt., bei Supermicro arten solche Updates in Arbeit aus.

Jetzt nicht falsch verstehen, auch Supermicro bietet ein Java basiertes Update Tool für Server und eine Lizenz für Updates über IPMI für wenig (30€) Geld an. Das wirkt aber alles oft sehr primitiv aus und ist kaum mit den Tools der großen OEM Hersteller vergleichbar. Dafür bekommt man eben eine Bildschirmumleitung für Lau, während man bei HP mittlerweile für iLO Advanced sogar jährlich blechen darf.

Ein Beispiel gefällig? Hardware Informationen bei Supermicro.

Hardware Informationen bei Fujitsu

Wer sowas alles nicht braucht, bekommt bei Supermicro viel Blech für wenig Geld. Man sollte nur nicht glauben das "drumherum" wäre vergleichbar.

 

[Raziel-Noir]

Sind das Chassis mit mehreren Nodes? Wenn ja, ist das normal wenn ein node fehlt und so gewollt. Wenn es einzelne Nodes sind, mal schauen ob alle Fans eingesteckt sind.

Nein, das sind einzelne Boards : https://www.supermicro.com/en/products/motherboard/A2SDi-4C-HLN4F

Gibt es von 2C bis 16C...

In meinem Fall hat jedes Board 5 FAN-Header. Bei einem voll bestückt mit 5 Identischen Lüftern, beim zweiten nur CPU & Gehäuse. Macht aber keinen Unterschied. Alle Lüfter in beiden Fällen jeweils auf 100%. Die Hardware friert quasi (CPU ~ 35-40 Grad, Festplatten jeweils knapp über Raumtemperatur) Manuell per Poti auf 50% ändert nichts an den Temp, daher meine Einschätzung.

 

[Skysnake]

@Raziel-Noir da würde ich den Support einfach mal anschreiben. Da gibts bestimmt ne andere Firmware, die das Problem behebt.

Wir haben mit dem ganz neuen Blech die letzten Jahre auch zu kämpfen, aber die Hersteller sind eigentlich immer bemüht. Wobei klar, wir nehmen viele Systeme ab....

Wenn es geht wieso nicht? Für den Kunden ist es letztlich ein leichteres Unterfangen, wenn er schlichtweg selbst die Wahl hat. Im besten Fall läuft auf dem Server der Management Agent und die UEFI/BMC Updates werden im Rahmen einer normalen Wartung automatisch eingespielt., bei Supermicro arten solche Updates in Arbeit aus.

Wers brauch. Wir machen das alles über cli bzw snmp. Mit GUIs können wir nichts anfangen. Das ist vielleicht für ne Handvoll Systeme brauchbar/nützlich, aber nicht bei Hunderten bis Tausenden. Da ist eher die Frage wie Robust die Verfahren sind und so 0.1-1% Schwund sind eigentlich immer dabei, wenn man tausende Server Updated. Zumindest meine Erfahrug. Hatte aber auch noch selbst keine HPE oder Fujitsu in der Hand. Von den Leuten die so viele der Kisten haben hört man aber auch nicht wirklich viel anderes. Jeder hat da so seine Leichen im Keller, die zwar sehr selten auftreten ~1:1000, aber eben doch auch da sind.

 

[ebird]

Dein Terminaloutput war halt etwas komisch, weil du zu verschiedenen Hosts in Frankfurt eine sehr unterschiedliche Latenz hast. Neugierige Menschen wollen dann spontan wissen, warum das so ist. Kommt der Output vielleicht einfach von verschiedenen Rechnern an verschiedenen Standorten? Dann könnte man vermeiden, dass andere User rätselraten, in dem man das explizit dazuschreibt?!

Wieso sollte man den Zugriff von unterschiedlichen zu unterschiedlichen Rechnern vergleichen? Und wieso sollte man unterschiedliche Routen zu unterschiedlichen Zielen nehmen? Das hätte ja null Aussagekraft.
Meine Auswahl war gezielt so ausgewählt, dass diese immer nach Frankfurt geht und sich da nur verteilt, sonst würde es ja auch kein Sinn ergeben.
Die ersten beiden Pings waren nur zum Vergleich mit einem langsamen Anschluss und einen Server in unmittelbarer nähe.
Und es liegt zum kleineren Teil am IPv6 Peering von 23m (ca. 5ms) und zum größeren Teil am last hop zum computerbase Server. Dort verliert man mit IPv6 10ms Latenz und sollte auch von allen anderen nachvollziehbar sein. IPv4 ist bei allen auf gleichen Niveau wie bei den anderen Servern.

Ergänzung (1. Dezember 2021)

Kann es sein, dass das Problem nur mit IPv6 existiert? In meinen Tests ist der Ping mit IPv6 gerade auch deutlich höher (bei anderen Teammitgliedern aber nicht), ich spreche das mal an.

Ja. Ich habe eine Erhöhung des Pings beim Peering von m23 (5ms) und beim last hop noch einmal (10ms). Bei IPv4 liegt der Ping wie bei allen anderen Servern bei 4ms. Ich kann auch gerne

7 [Quell Peering] 3.885 ms 3.514 ms 3.447 ms
8 decix.bb01.net.23m.com (2001:7f8::b957:0:2) 9.440 ms 9.337 ms 9.298 ms
9 ae1-0.gw01.fra01.net.23m.com (2a00:f48:100:0:8000::32) 9.499 ms 9.388 ms 9.557 ms
10 www.computerbase.de (2a00:f48:2000:1::137) 20.399 ms 20.285 ms 20.426 ms

Das müsste jedoch auch von allen anderen genauso nachvollziehbar sein.

 

[Raziel-Noir]

Okay. Frage eins Nichtwissenden

--So vermeidet man Vollzitate--

Aus Interesse: Werden die Server in dem Fall zur Verwaltung über Ihre jeweiligen Management-Systemschnittstellen angesprochen? Bei Supermicro wird dazu jedoch ein Useraccount/Passwort abgefragt, ggfs. sogar noch eine Lizenz fürs Updaten. Wie geht das mit SNMP zusammen?

Und wie werden i.d.R. die Management-Schnittstelle angesprochen/angeschlossen? Eigenes, separates Netzwerk? Oder "nur" ein eigener IP-Adressbereich?

 

[BrollyLSSJ]

Es gibt mehr Hersteller als Fujitsu und Supermicro. Ich will hier aber kein blaue game spielen...

Also ich hatte bei per Windows installierten Firmware Updates auch noch keine Probleme (DELL, HPE, Fujitsu) bezüglich zurücksetzen der Remote Board Einstellungen. SuperMicro habe ich keine Erfahrung mit, abgesehen von einem Uraltsystem, was maximal für W2K3 freigegeben war, aber mit Windows Server 2016 installiert werden sollte, was mir einfach so hingestellt wurde. Da sind mir dann sogar die Krücken von IBM lieber. KVM von Fujitsu mit Java only (inzwischen geht auch HTML5) sind ein graus. DELL und IBM waren da mit Active X auch nicht viel besser. Hier bevorzuge ich das iLO, auch wenn inzwischen alle HTML5 können.

Ansonsten, wer macht so was über Windows?

Viele, die dann auch direkt die Treiber aktualisieren. Aber ich bevorzuge da auch die Firmware only Variante per DVD Boot (HPE). IBM / Lenovo muss man sich die DVD selber zusammenstellen. DELL ist schon etwas länger her. Da könnte es aber in der Tat in der Vergangenheit mal Probleme gegeben haben.

 

[Skysnake]

Snmp ist nur fürs Monitoring.

Management erfolgt per ipmi. Je nachdem was der Kunde will und bezahlt entweder per dedizierten Netzwerk auf dedizierten BMC port, oder mittels VLAN getrennten Netzen auf dedizierten BMC Port oder mit getrennten VLANs auf shared BMC Port. Letzteres spart halt pro Server ein Kabel und einen Port, aber ich bin da kein Freund von shared BMC. Das zickt immer mal wieder Rum und dann hat man keinen Zugriff mehr auf den Server, wenn was hackt... da spart man finde ich an der falschen Stelle.

Updates werden entweder über die Tools von der Herstellern gemacht, teils aber auch über den Host. Je nachdem, was verfügbar ist. Im Algemeinen aber eher über die Herstellertools, wobei das dann im Allgemeinen auch in Gruppen gemacht wird. Tausend Knoten auf einmal ist eher keine gute Idee.

Danach ist dann aufräumen angesagt und schauen welche Knoten das Update nicht bekommen haben, nicht mehr an gehen, oder sonst ein Problem haben. So ne Hand voll haben immer was. Gerade wenn das System noch neu ist, fällt mal hier und mal da einer aus. Da ist mal nen Dimm defekt, oder nen Riser oder nen Kabel oder nen Netzteil oder die WLP ist nicht gut aufgetragen, oder der Kühler sitzt schlecht, oder das MB verabschiedet sich, oder ne disk wird nicht erkannt, oder die BIOs settings sind weg, oder der BMC hat sich aufgehängt, oder sonst irgendwas. Wenn man genug Dinger hat geht sp ziemlich alles mal kaputt... selbst elendige 1G Ethernetkabel haste mal ne Charge für die Tonne, weil es halt mal pro Tag einen Server gibt der den Link verliert. In nem großen System ist das halt tödlich....

Ergänzung (1. Dezember 2021)

@BrollyLSSJ ja die Java Tools sind "toll"... wir packen das inzwischen in nen Container, dann hat man seine Ruhe