News In eigener Sache: Das neue Server-Setup von ComputerBase (2021)

[foo_1337]

Auch hier volle Zustimmung. Ein "das macht man halt heutzutage so" bringt einen keinen Zentimeter weiter, und sobald man nicht mit massiven Schwankungen der Nutzung rechnet, gibt es eigentlich nur noch wenig das für die Cloud-Anbieter spricht. Mir wäre z.B. neu, das die vernünftigen Anbieter von Rootservern eine höhere Downtime hätten als Amazon. Und: Beim Rootserver bezahlt man halt nach Netzwerk-Port, und nicht für jedes Packerl dass über die Leitung wandert

Cloudservices haben ja auch andere Schwerpunkte. Wer denkt er könnte mit einem 1:1 Lift&Shift Geld sparen, wird sehr schnell eines besseren belehrt. Aber darum geht es da nicht. Es geht um das Nutzen von Services, Infrastructure as Code, dynamisches skalieren, weltweite Verfügbarkeit etc. Wer das alles nicht braucht/will, fährt mit einem klassischen Setup besser.

 

[BrollyLSSJ]

Was mich etwas wundert - ist aber auch nicht mein Gebiet-, das zwei Netzteile vorhanden sind. Ist das echt so üblich das eins ausfällt?

Gibt Server, wo nur ein Netzteil reinpasst und welche, wo 2 oder 4 Netzteile reinpassen (wobei wir die mit 4 schon ewig nicht mehr hatten). Und die mit nur einem Netzteil sind meistens nur so "Pizzaschachteln" (also 1 HE* wie im Artikel genannt) und dann auf expliziten Kundenwunsch um noch mal Geld zu sparen bei unwichtigen Dingen. Bei den 2 HE Servern passen eigentlich immer 2 Netzteile rein. Hier hat man auch die Wahl ob man nur 1 oder 2 Netzteile will, aber wir kaufen da eigentlich Server immer mit 2 Netzteilen. Und bei 5+ Jahren Betrieb (wegen Abschreibung von 5 Jahren) und 24/7 Laufzeit kommt es durchaus mal vor, dass auch ein Netzteil stirbt. Wird dann halt getauscht und gut ist. Kommt zwar selten vor, aber die Ausfälle sind vorhanden. Festplatten sterben da aber natürlich häufiger weg und auch defekte RAM Module gab es gefühlt öfter als Netzteilausfälle.

*HE = Höheneinheit (English HU = Height Unit, falls du die Abkürzung nicht kennst und falls du die Bezeichnung nicht kennst, dass ist die Höher einer Einheit in einem 19" Schrank (Dort gehen meistens 42 Höheneinheiten rein bei einer Schrankhöhe von 2m). Eine Höheneinheit entspricht dabei einer Höhe von 1.75 Zoll

 

[dienst]

Vielen Dank für die spannenden Einblicke.

 

[Joe Dalton]

Das ist absoluter standard. 2 Netzteile ist Minimum, auch bei Switchen und anderen Komponenten. Alles was nur 1 Netzteil hat, hat im Geschäftsumfeld nichts verloren und taugt allenfalls für private Anwendungen oder POC Spielereien. Große Geräte, bspw. Server, Filer und SAN-Directoren haben meist 4 Netzteile, dann häufig sogar mit C19 statt C16 Steckern/Kabeln.

Die Aussagen sind in der Absolutheit Unfug. Auch bei den Geräten mit mehr als zwei Netzteilen kann bei der Redundanz zwischen N+1 und N+N unterschieden werden. Und selbst Geräte mit nur einem Netzteil habe ihre Berechtigung, wenn die selbst mehrfach vorhanden sind.

Redundante Netzteile sind durchaus Standard, der Rest der Aussage ist hingegen daher geredet. Wer echte Redundanz will, stellt mehrere Geräte hin, redundante Netzteile sind dagegen nur ein kleiner "Trostpflaster", mit dem sich die Hersteller, oft ohne einen echten Bedarf, ein gutes Zubrot verdienen.

Die Preise der zusätzlichen Netzteile sind "interessant", ja. :-D

Wie bereits gesagt, macht es vor allem dort Sinn, wo man mehrere Stromkreise zur Verfügung hat. Bei den meisten Hostern, liegen maximal zwei Stromkreise im Schrank. Fliegt da aus welchen Gründen auch immer die Sicherung raus, wäre ohne redundante Netzteile der halbe Schrank dunkel. Das passiert öfter als der gezielte Ausfall, weil so ein Netzteil während es das Leben aushaucht, gerne die Sicherung auslöst und somit den Stromkreis killt.

das Sahnehäubchen: 1x Phase mit USV, 1x Phase ohne USV, 1x Phase für Rackbeleuchtung/Krimskrams

Am Ende darf man sich aber immer die Frage stellen, ob man einen "teuren" Server mit redundanten Netzteilen, mehreren CPUs und einem Raid nimmt oder nicht lieber das Geld in eine echte Redundanz steckt und einen zweiten Server daneben oder sogar in ein anderes RZ stellt. Deshalb sind Geräte mit einem Netzteil, genauso im Geschäftsfeld einsetzbar wie mit mehreren, es kommt schlichtweg auf den Einsatzzweck und die gesamte Lösung an.

Da redundante Komponenten lediglich ein einzelnes System absichern können, aber keinen Einfluss auf die Umgebung haben, stellt sich die Frage bei *hoch*verfügbaren System kaum: 2. Gerät an einem 2. Standort (Brandabschnitt/RZ/etc.). Der Nutzen eines in sich hochredundanten Systems ist zu vernachlässigen, wenn mir dafür die restliche Umgebung abfackelt.

@xexex Nein, Du hättest Deine Aussage nicht entschärfen müssen. Die war schon recht treffend. ;-)

 

[hercemania]

Saubere Leistung, hut ab dafür!

 

[Aslo]

Läuft.

 

[DerNiemand]

Wie wird eigentlich das Backup geregelt? Letztens ist ja ein großes Rechenzentrum abgeraucht und da haben viele Kunden Fischaugen gemacht, als ihnen gewahr wurde, dass sie kein Backup hatten.

 

[xexex]

Na ja, 2 Server nebeneinander zu stellen ist jetzt auch nicht wirklich eine Redundanz, wenn die am selben Stromkreis hängen und im selben Brandabschnitt liegen

Das ist absolut richtig. Wir haben in unserem RZ deshalb in jedem Schrank sechs Stromkreise, fein aufgeteilt auf Netzwerkkomponenten, Datenserver und RDP Server, die jeweils zur Hälfte auf unterschiedlichen Stromkreisen hängen. Dazu halt noch eine Replikation in ein anderes RZ.

Einen Brand halte ich in einem RZ für äußerst unwahrscheinlich, da reicht in den meisten Fällen auch ein Backup an einen anderen Standort. Allerdings darf man hier von einem ziemlichen Luxus sprechen, die RZs die ich in Frankfurt so gesehen habe, stellen nur zwei Stromkreise pro Schrank bereit.

 

[foo_1337]

Wir bieten unseren Kunden Backups ausschließlich in anderen Brandabschnitten an. Alles andere ist grob fahrlässig. Und wie unwahrscheinlich das ist, sieht man ja an OVH

 

[Steffen]

oder hast du einen separaten build-host?

Ne, das haben sogar die alten Server locker nebenbei gepackt. Falls mal ein Update von GCC oder NodeJS ansteht (lange Compile-Zeiten), dann kann man das ja außerhalb der Stoßzeiten einspielen.

Sind eure beiden Maschinen in einem HA-Verbund und wenn ja, welche HA-Software verwendet ihr?

Nein. Der Leidensdruck war bislang nicht groß genug, weil wir praktisch nie Hardware-Probleme hatten. Und je komplexer das Setup, desto eher kann diese Komplexität dann auch zu Downtimes führen. Als nächsten Schritt will ich die Bilddateien und Forumanhänge irgendwann in einen Object Store packen. Danach gäbe es dann nur noch die Datenbank als "state".

Wie setzt ihr euer Linux / Gentoo + Dienste auf?

Ich habe es manuell gemacht. Nutzt du dafür Ansible oder andere Tools? Erfahrungsgemäß ist bei jedem neuen Server wieder etwas anders (hier jetzt z.B. Software-RAID), aber zumindest einiges was danach kommt sollte ich vermutlich mal automatisieren. Habe eine Liste mit Notizen/Befehlen, die man "nur" mal in ein Script gießen müsste.

Backupstrategien

• vom Linux Gentoo selbst (borg, veeam) ?
• mysql Dump (mariadb via mariabackup) ?
• Elastisearch Dump (falls überhaupt nötig)

Wie wird eigentlich das Backup geregelt? Letztens ist ja ein großes Rechenzentrum abgeraucht und da haben viele Kunden Fischaugen gemacht, als ihnen gewahr wurde, dass sie kein Backup hatten.

Vom Linux-System haben wir kein Backup, nur von den Konfigurationsdateien und Daten. Die Konfigurationsdateien liegen in einem Git-Repository. Die Bilder und Forumanhänge syncen wir in ein S3-Bucket. Für das tägliche MySQL-Backup nutzen wir Percona Xtrabackup + zstd-Komprimierung + age-Verschlüsselung (damit hat das Backup der 38-GB-DB schon auf den alten Servern nur 5 Minuten gedauert) und laden die Datei ebenfalls in ein S3-Bucket (genau das Backup habe ich heute Nacht auf die neuen Server kopiert, funktioniert also ). Alle S3-Buckets nutzen Versionierung, d.h. auch wenn jemand Zugriff auf unsere Server erlangen sollte, könnten die Backups nicht gelöscht werden.

wieviel Speicherplatz belegt denn das Forum ohne Anhänge?

Von den 38 GB Datenbank entfallen rund 30 GB auf das Forum.

 

[ebird]

Ah, DE-CIX.
Wolf, wieso hostest du denn am DE-CIX?
"Damit der Ami dich besser abhören kann!"

Bessere Anbindung? Peert die Telekom mittlerweile mit ausreichend Kapazitäten oder geht das immer noch nach Amerika und zurück?

 

[xexex]

Die Preise der zusätzlichen Netzteile sind "interessant", ja. :-D

Bei Servern halten sich die Preise noch in Grenzen, weshalb man es halt "mitnimmt". Sobald es dann um Switche geht oder einige andere Komponenten, wird es dann oft deutlich teurer. Für die Hersteller ist es halt ein gutes Zubrot, "redundant" hört sich ja so "sicher" an. Wenn ich dann an eine ganz bestimmte Fujitsu Serverserie zurückdenke, bei der reihenweise die "Netzteilverteiler" ausgefallen sind, ist es aber oft nur ein trügerische Sicherheit.

Früher als die ganzen Spannungen noch vom Netzteil bereitgestellt wurden, hat es vielleicht mehr Sinn gemacht, genauso wie "früher" ein Raid Controller mit Platten, eine höhere Verfügbarkeit gewährleistete. Heute mit Stromwandlern auf dem Board und nur aus Chips bestehenden Datenträgern, ist beides nur noch bedingt sinnvoll. Dann fällt halt das Mainboard oder der Raidcontroller aus und man hat mehr Geld ausgegeben und wenig gewonnen.

Deshalb meine klare Meinung, da wo es nur geht eine Serveredundanz bereitstellen, statt sinnlos Geld in Redundanzen in einem Blech auszugeben, geht nur halt nicht immer.

 

[0xffffffff]

@Steffen habt ihr eigentlich Pläne Bestandsdaten (wie zB Artikelbilder) zu einem anderen, effizienterem Format zu migrieren? Beispielsweise WEBP oder mit JPEG-XL im kompabilitätsmodus neu re-encodieren.

Bei so einer großen Datenbasis wäre es spannend zu sehen, ob sich so ein Unterfangen lohnt um Speicher und Traffic zu sparen.

 

[startaq]

Wie ist deine Erfahrung mit ZFS? Nutzt du das nur für sowas wie Bilddateien oder liegen da auch Datenbanken drauf?

Das komplette System liegt gespiegelt auf 2 NVMe-Laufwerken. Eingesetzt wird es als VM-Host. Großer Vorteil hier sind die Instant Snapshots von ZFS, d. h. es gibt quasi keine Downtime beim VM-Backup. Aktiviert habe ich auch die Kompression, das spart einiges und erhöht auch nochmal die Geschwindigkeit. Mit der Stabilität bin ich zufrieden, das System läuft jetzt seit einigen Wochen inkl. täglicher Backups einiger großer Windows-VMs.

 

[Cool Master]

Von den 38 GB Datenbank entfallen rund 30 GB auf das Forum.

Hätte nicht gedacht, dass die Seite nur ~8 GB hat. Vor allem wenn man einige Test hat mit Teils 100+ Bildern.

 

[Wasserhuhn]

geht das immer noch nach Amerika und zurück?

Ging es nie. Man filtert selber heraus und schickt es.

 

[textract]

Nein. Der Leidensdruck war bislang nicht groß genug, weil wir praktisch nie Hardware-Probleme hatten.

Verstehe. Synchronisiert ihr dann in regelmäßigen Abständen die Daten zwischen den beiden Maschinen, oder habt habt ihr ein Cluster-FS dazwischen gespannt, oder wie darf man sich das vorstellen?

EDIT:

Hätte nicht gedacht, dass die Seite nur ~8 GB hat. Vor allem wenn man einige Test hat mit Teils 100+ Bildern.

Ich schätze mal damit sind die Bilder gemeint, von denen du sprichst:

Aber auch die Artikelbilder belegen mit 920 anstatt 491 GB heute deutlich mehr Platz

 

[Steffen]

habt ihr eigentlich Pläne Bestandsdaten (wie zB Artikelbilder) zu einem anderen, effizienterem Format zu migrieren? Beispielsweise WEBP oder mit JPEG-XL im kompabilitätsmodus neu re-encodieren.

Ja, es kommt nur immer ein neues Format dazwischen. Erst WebP, dann AVIF, jetzt JPEG XL. Bislang gab es für mich da noch keinen klaren Gewinner, zumal man die JPEG-Dateien aus Kompatibilitätsgründen ja weiter vorhalten muss, d.h. Speicherplatz braucht man dann erstmal mehr als vorher. Speziell WebP hat Probleme mit Chroma Subsampling, das hatte in meinen Tests vor ein paar Jahren bei einigen Artikelbildern leider zu sofort sichtbar schlechteren Ergebnissen geführt als langweiliges JPEG. WebP kann einfach kein besseres Chroma-Subsampling als 4:2:0, ganz egal welche Qualitätsstufe man wählt. Und es ist leider auch nicht so, dass WebP-Bilder nur noch halb so groß wären. Deshalb habe ich gewartet. Und schaue jetzt, ob sich AVIF oder JPEG XL durchsetzen kann.

Hätte nicht gedacht, dass die Seite nur ~8 GB hat. Vor allem wenn man einige Test hat mit Teils 100+ Bildern.

Die Bilder liegen nicht in der Datenbank, sondern im Dateisystem. Das gilt sowohl für die redaktionellen Bilder, als auch für die Forumbilder. Wieviel Platz die belegen steht in der News.

Synchronisiert ihr dann in regelmäßigen Abständen die Daten zwischen den beiden Maschinen, oder habt habt ihr ein Cluster-FS dazwischen gespannt, oder wie darf man sich das vorstellen?

Die Datenbank wird laufend durch das Source-Replica-Setup synchronisiert. Die Bilder alle paar Minuten via rsync. Das soll zukünftig per Object Store besser gehen.

 

[andi_sco]

CB hat den besten Forum. Z.B. Bilder einfügen geht so unheimlich bequem!

Motor-talk.de war da leider auch nicht so gut 😤

 

[wayne_757]

Zum einen finde ich Rolling-Release-Distributionen wie Gentoo praktisch, weil nicht alle paar Jahre in einem Rutsch alles aktualisiert wird (sodass man bei Problemen dann nicht mehr unbedingt weiß, wo man mit dem Suchen anfangen soll), sondern die Updates nach und nach kommen. Wenn dann Probleme auftreten, ist meist schnell klar, mit welchem Update die in Zusammenhang stehen.

Ich habe mal eine Zeitlang meinen Homeserver mit Arch betrieben. Fand das ziemlich anstrengend, weil man z.B. Postgres manuell migrieren muss. Zudem werden gerne mal die Pakete untereinander inkompatibel. Ist das bei Gentoo besser?