News In eigener Sache: Das neue Server-Setup von ComputerBase (2018)

[bensel32]

Zitat: "Die Spezifikationen der Server lauten wie folgt: Dual Intel Xeon Silver 4110 (Skylake-SP), 96 GB ECC RAM, HPE Smart Array P408i-a RAID-Controller mit 2 GB Cache und BBU (Akku), 2× 480 GB Intel DC-SSD (RAID 1) und 2× 2 TB HDD (RAID 1)."

Und welche Grafikkarte ist verbaut?
Spass beiseite. Feines Stück Technik.

 

[Steffen]

Vielen Dank für den Einblick in eure Infrastruktur. Ich bin nur etwas verwundert, warum man ein Setup wählt, welches keine Redundanz bietet, wenn man schon 2 Server hat.
Wir haben vor Kurzem eine Kundeninfrastruktur von 6x "Blech" zu einer auf mehrere Räumlichkeiten verteilten VMWare (4 VMs) Umgebung umgezogen. [...]

Ich glaube die Verteilung auf mehrere Räumlichkeiten wäre in unserem Fall etwas übertrieben. Zumindest hatten wir in den letzten 14 Jahren soweit ich mich erinnern kann keine Netzwerkausfälle, die länger als ein paar Sekunden oder Minuten andauerten – und selbst das war extrem selten. Die Anforderungen mögen andere sein, wenn man einen Shop betreibt, der in der Weihnachtszeit garantiert verfügbar sein muss.

Wie man die Replikation aufsetzt ist denke ich unabhängig von der Frage ob man Virtualisierung nutzt. Wenn wir einen dritten Server dazubuchen würden, dann könnten wir Percona Cluster anstatt eines einfachen Master-Slave- oder Master-Master-Setups nutzen. (Dann sind verschiedene Standorte aber doch von Nachteil, weil der Durchsatz von Percona Cluster wesentlich von der Latenz abhängt, oder?)

OVH haben wir uns nicht angeschaut, aber kurz über das deutsche Preisbrecher-Äquivalent Hetzner nachgedacht. Der heikle Punkt bei Hetzner scheint die Anbindung zu einzelnen großen Providern zu sein. Die Telekom-Kunden unter den eigenen Nutzern kann man zwar mittels Double Paid Traffic freikaufen, aber dem Hetzner-Forum zu Folge haben auch einzelne Unitymedia-Kunden Probleme (was ich persönlich an meinem Unitymedia-Anschluss nicht bestätigen konnte, aber die Routen können je nach Standort ja komplett verschieden sein). Dass wir in 14 Jahren keinerlei Anbindungsprobleme bei Host Europe / PlusServer / Nimblu hatten hat letztendlich den Ausschlag gegeben, dort zu bleiben.

Mich würde noch interessieren, ob die Active-X Remote Console aus dem iLO keine Option ist, weil man keine Windows Desktops verwendet?

Eine ActiveX-Remote-Konsole gibt es meines Wissens nach nicht, sondern eine .NET-Remote-Konsole. Da ich kein Windows-Nutzer bin, habe ich die nicht ausprobiert und kann nichts dazu sagen.

Außerdem würde mich noch interessieren, warum die beiden HPE DL360 G10 nicht als VMware ESXi Hosts laufen und die Anwendungen innerhalb einer virtuellen Maschine? Hat es an den Kosten für einen zentralen Storage gehapert oder gab es andere Gründe?

Ich versuche das Setup so einfach wie möglich zu halten und freie Software zu nutzen. Wir haben keinen Vollzeit-Admin, sondern die meiste Zeit möchte und muss ich in die Weiterentwicklung der Website stecken. Und so viele verschiedene Anwendungen, die man in Container oder VMs packen könnte, haben wir nicht. Eventuell könnte man Grenzen zwischen nginx + PHP / MySQL / Redis / Sphinx / Postfix ziehen. Ich vermute aber der Wartungsaufwand für die Pflege solcher Container wäre höher und nicht niedriger als eine direkte Installation "auf dem Blech".

Ich sehe, wieso ein dritter Server Sinn machen kann (weil man dann Percona Cluster nutzen kann). Virtualisierung halte ich in unserem Fall aber für nicht unbedingt sinnvoll.

Und zu guter Letzt nochmal eine Frage zum Thema Backup. Wie läuft das bei Euch und mit welcher Software?

Wir erstellen ein tägliches Datenbank-Backup mit Percona XtraBackup, das lokal mit GnuPG verschlüsselt wird und dann in einem S3-Bucket mit Versioning und Lifecycle-Policy landet. Die Zugriffsrechte sind so gesetzt, dass nur die Lifecycle-Policy eine Datei löschen kann. (Der Private-Key zum Entschlüsseln liegt natürlich nicht auf AWS. Er liegt nichtmal auf unseren Servern, denn die brauchen zum Verschlüsseln ja nur den Public-Key.)

Die vielen Millionen kleinen und ohnehin öffentlichen Dateien (Bilder, Forum-Anhänge, ...) werden täglich mit den awscli-Tools in ein S3-Bucket gesynct.

@Steffen: Wird weiterhin EXT4 genutzt oder wurde beispielsweise auf BTRFS umgestiegen?!

ext4. btrfs war mir zu heikel. Vielleicht hätte es aber Sinn, zwar nicht für die Datenbank aber zum Speichern der erwähnten vielen Millionen kleinen Dateien btrfs zu nutzen. Weiter oben hatte jemand erwähnt, dass man damit eventuell eine Synchronisierungslösung bauen könnte.

Mich würde interessieren welche Systeme verglichen und gestetet wurden.
Ich habe gehört die Oracle Database Appliance Familie hat viel Automatik vorintegriert und Dell ist auch nicht schlecht.

Unser Provider bietet nur HPE-Server an. Weil die Technik hier weitgehend eine One-Man-Show ist, ist Vieles auch eine Zeitfrage.

 

[schwenn]

Wieso aber dann auf HDD? Bei den Datenmengen wären SSDs doch irgendwo erreichbar oder? KA ob da z.B. eine 850 Pro den Anforderungen gewachsen ist, aber bei den Datenmengen wäre das nicht machbar?

3 Monate, dann sind die hinüber

 

[Moselbär]

Große Klasse dieser Beitrag - offen - sehr transparent - ordentliche Infos, soweit möglich - das gefällt mir persönlich sehr gut.

 

[BrollyLSSJ]

iLO Java Remote Console ist Schrott, die Active-X Remote Console dagegen sehr empfehlenswert, HTML5 wäre noch besser. Aber die Quantensprünge in Sachen iLO1 bis iLO5 von der Handhabbarkeit sind gewaltig. IDRAC hat mich nicht so überzeugt.

Wobei ab iLO3 es meines Wissens nach kein ActiveX mehr ist, sondern .NET basiert. Aber ja, die iLOs gefallen mir auch am besten. Ich kenne zusätzlich noch DELL iDRAC, IBM / Lenovo IMM und Fujitsu iRMC. Fujitsu ist leider seit je her nur Java basiert. Bei DELL und IBM hat man noch die Wahl zwischen Java und ActiveX. Die .NET Version des iLOs ist richtig gut.

Was die HW angeht, sind bei uns sowohl Fujitsu als auch HPE die stabilsten Server. Mit DELL gab es mal PRobleme mit dem Netzwerk und das kein Teaming ging (R710 mit Broadcom Kacke musste riesen Spürnge in der Aktualisierung machen, von BIOS 1.x auf 2.x, auf 3.x auf 6.x und diverse Firmware Updates und weitere Optionen, bis der Bug behoben war.) Das hatte auch Seitens DELL 6 bis 12 Monate gedauert, bis die Probleme behoben waren. Bei IBM hatten die IMMs auch Probleme gehabt, dass die nicht gingen und der Techniker hat 1 Tag analysiert und den 2. Tag dann die Mainboards getauscht. Das waren so aber auch die einzigen Probleme. Die Techniker waren sonst aber stehts freundlich und bemüht und fähig. Es waren einfach nur Bugs in der HW. Nur dass DELL nach 6 Monaten das Problemticket geschlossen hatte, stößt etwas negativ auf.

 

[Simon]

3 Monate, dann sind die hinüber

So ein Quark.

SSDs sterben von Schreibzyklen, nicht von Lesezyklen. Und da das Verhältnis von Lesen:Schreiben bei Web-Applikationen 99:1 zugunsten der Lese-Operationen ausgeht, würde auch eine Consumer SSD wie ein 850 Pro der Sache ewig standhalten. Eher rostet dir das Blech vom Server durch, als das unter solchen Bedingungen die TBW / P-E-Zylen einer normalen SSD innerhalb der geplanten Einsatzdauer erreicht werden.

Es gibt auch im Enterprise-Segment reichlich RI (read intensive) SSDs, die nur für 1-3 DWPD ausgelegt sind. Für Cache-Anwendungen, die hauptsächlich lesend erfolgen, reicht das völlig aus. Andersherum gibt es natürlich auch Mix-Use oder WI (write intensive) SSDs, die dann im letzteren Fall auch mal 25-30 DWPDs abkönnen, z.B. für temporäre Datenbankanwendungen oder Schreib-Cache-Zugriff. Die kosten dann aber auch gleich mal wesentlich mehr und sind auch in der Kapazität beschränkt.

 

[iN00B]

es läuft darauf ausschließlich von uns installierte Software

Weiterhin gute Fahrt!

 

[konkretor]

Mich würde interessieren welche Systeme verglichen und gestetet wurden.
Ich habe gehört die Oracle Database Appliance Familie hat viel Automatik vorintegriert und Dell ist auch nicht schlecht.

Hast du irgendwo einen Geldesel verssteckt?

 

[winterblut]

Gibt schon GEN10 ? Irgendwie dreht sich das Rad bei HP immer schneller.... gefühlt gestern hätte ich beinah GEN8 gekauft.

 

[paetson]

Sehr schöne Sache. Ab und zu lohnt es sich schonmal auf was neues zu gehen.

 

[MarcBesken]

Was sind es dann ungefühlt?

Ansonsten großes Lob an CB für den Blick hinter den Technikvorhang.

Ungefühlt 15. Frage beantwortet?

Ergänzung (17. Januar 2018)

Eine ActiveX-Remote-Konsole gibt es meines Wissens nach nicht, sondern eine .NET-Remote-Konsole. Da ich kein Windows-Nutzer bin, habe ich die nicht ausprobiert und kann nichts dazu sagen.

Ich versuche das Setup so einfach wie möglich zu halten und freie Software zu nutzen. Wir haben keinen Vollzeit-Admin, sondern die meiste Zeit möchte und muss ich in die Weiterentwicklung der Website stecken. Und so viele verschiedene Anwendungen, die man in Container oder VMs packen könnte, haben wir nicht. Eventuell könnte man Grenzen zwischen nginx + PHP / MySQL / Redis / Sphinx / Postfix ziehen. Ich vermute aber der Wartungsaufwand für die Pflege solcher Container wäre höher und nicht niedriger als eine direkte Installation "auf dem Blech".

Ich sehe, wieso ein dritter Server Sinn machen kann (weil man dann Percona Cluster nutzen kann). Virtualisierung halte ich in unserem Fall aber für nicht unbedingt sinnvoll.

Wir erstellen ein tägliches Datenbank-Backup mit Percona XtraBackup, das lokal mit GnuPG verschlüsselt wird und dann in einem S3-Bucket mit Versioning und Lifecycle-Policy landet. Die Zugriffsrechte sind so gesetzt, dass nur die Lifecycle-Policy eine Datei löschen kann. (Der Private-Key zum Entschlüsseln liegt natürlich nicht auf AWS. Er liegt nichtmal auf unseren Servern, denn die brauchen zum Verschlüsseln ja nur den Public-Key.)

Die vielen Millionen kleinen und ohnehin öffentlichen Dateien (Bilder, Forum-Anhänge, ...) werden täglich mit den awscli-Tools in ein S3-Bucket gesynct.

Ja, stimmt! Mittlerweile (seit iLO3) ist es eine .NET Framework Remote Console, aber die ist richtig gut. Schade, daß Ihr keinen Windows Desktop habt.

Sicherlich ist die Virtualisierungebene eine weitere Ebene, die auch mitbetreut werden müßte. Ich halte das im DR-Fall allerdings für die bessere Lösung, da man einfach komplette VMs wieder bereitstellen kann nach Datenverlusten, Abstürzen oder RANSOMWARE. Den Aufwand das Blech zu installieren und wieder Alles zu konfigurieren bis Alles läuft, halte ich für Höher, aber Ihr habt Euch jetzt dafür entschieden, ist ja auch legitim.

Sicherung in ein S3-Bucket ist sicherlich auch eine Alternative. Sichert Ihr auch Systembereiche Eurer beiden Physiken oder nur Daten? Wenn für Euch die Wiederinbetriebnahme mit wenig Zeitaufwand verbunden ist, ok, aber hoffentlich erreichen wir computerbase.de auch in Zukunft bei einem RANSOMWARE-Befall wieder schnell genug, wenn Eure beiden DL360 G10 Physiken befallen sind

Gruß
Marc

Ergänzung (17. Januar 2018)

Gibt schon GEN10 ? Irgendwie dreht sich das Rad bei HP immer schneller.... gefühlt gestern hätte ich beinah GEN8 gekauft.

G8 gibt es bereits seit 2012, aber Minimum seit 2013

Gruß
Marc

Ergänzung (17. Januar 2018)

Wobei ab iLO3 es meines Wissens nach kein ActiveX mehr ist, sondern .NET basiert. Aber ja, die iLOs gefallen mir auch am besten. Ich kenne zusätzlich noch DELL iDRAC, IBM / Lenovo IMM und Fujitsu iRMC. Fujitsu ist leider seit je her nur Java basiert. Bei DELL und IBM hat man noch die Wahl zwischen Java und ActiveX. Die .NET Version des iLOs ist richtig gut.

Was die HW angeht, sind bei uns sowohl Fujitsu als auch HPE die stabilsten Server. Mit DELL gab es mal PRobleme mit dem Netzwerk und das kein Teaming ging (R710 mit Broadcom Kacke musste riesen Spürnge in der Aktualisierung machen, von BIOS 1.x auf 2.x, auf 3.x auf 6.x und diverse Firmware Updates und weitere Optionen, bis der Bug behoben war.) Das hatte auch Seitens DELL 6 bis 12 Monate gedauert, bis die Probleme behoben waren. Bei IBM hatten die IMMs auch Probleme gehabt, dass die nicht gingen und der Techniker hat 1 Tag analysiert und den 2. Tag dann die Mainboards getauscht. Das waren so aber auch die einzigen Probleme. Die Techniker waren sonst aber stehts freundlich und bemüht und fähig. Es waren einfach nur Bugs in der HW. Nur dass DELL nach 6 Monaten das Problemticket geschlossen hatte, stößt etwas negativ auf.

Du hast Recht, .NET basiert seit iLO3 und die ist richtig genial und iLO5 ist noch ein Ticken besser als die Vorgänger.

Probleme in der Hardware oder Serienfehler haben glaube ich alle Hersteller schon gehabt. Bei der großen Anzahl an HPE-Systemen (hoher 3-stelliger Bereich), die ich schon angefasst und betreut habe, passiert immer wieder mal was, aber in bezug auf Stabilität und hardwareseitige SW-Unterstützung (Treiber, Firmware, BIOS und Management) muß ich HPE wirklich ein dickes Lob aussprechen. Ich erinnere mich noch an die Management-SW von Fujitsu-Siemens zu Novell NetWare Zeiten (ein absolutes Grausen).

Gruß
Marc

 

[Nebula123]

Ich hätte euch ein kleines Nutanix System hingestellt mit 3 kleinen 1000er Nodes, oder falls ihr nicht groß erweitern wollt Nutanix Xpress.

 

[fax668]

Wenn wir einen dritten Server dazubuchen würden, dann könnten wir Percona Cluster anstatt eines einfachen Master-Slave- oder Master-Master-Setups nutzen. (Dann sind verschiedene Standorte aber doch von Nachteil, weil der Durchsatz von Percona Cluster wesentlich von der Latenz abhängt, oder?)

Wir verwenden Continuent Tungsten, das sollte m.W. auch mit zwei Servern gehen. Ich weiß aber nicht, wie sich das preislich von Percona unterscheidet.

Bei der Latenz kommt es auf die Anwendungen an. Es gibt aber IMHO nur sehr wenige Anwendungen, die mit größeren Latenzen wirklich umgehen können. Wir haben einen Rechner Off-Site als Read-only Slave stehen, der nur für Backups verwendet wird. In dem Fall ist die Latenz dann natürlich egal.

ext4. btrfs war mir zu heikel. Vielleicht hätte es aber Sinn, zwar nicht für die Datenbank aber zum Speichern der erwähnten vielen Millionen kleinen Dateien btrfs zu nutzen.

Unsere Datenbanken liegen auf XFS, das ist bei der Verwaltung von großen Dateien sehr effizient. Btrfs wäre mir auch zu riskant. Das ist mir schon auf meiner Workstation mit nicht-nennenswerter Load einmal zu oft gecrasht.

 

[OneShot]

Wo ist der Gefällt mir Button?

 

[BrollyLSSJ]

Probleme in der Hardware oder Serienfehler haben glaube ich alle Hersteller schon gehabt. Bei der großen Anzahl an HPE-Systemen (hoher 3-stelliger Bereich), die ich schon angefasst und betreut habe, passiert immer wieder mal was, aber in bezug auf Stabilität und hardwareseitige SW-Unterstützung (Treiber, Firmware, BIOS und Management) muß ich HPE wirklich ein dickes Lob aussprechen. Ich erinnere mich noch an die Management-SW von Fujitsu-Siemens zu Novell NetWare Zeiten (ein absolutes Grausen).

Bei uns sind wir bisher immer zurück zu Fujitsu (bei den Rackmounted bisher auch geblieben), weil wir da die besten Erfahrungen mit gemacht haben. Und weil dort auch Onboard Intel NICs verbaut sind. Bei HPE haben wir hauptsächlich Blades im Einsatz. HPE kam auc herst vor 4 Jahren mit den Blades bei uns rein und das iLO find ich richtig geil und die Server drehen auch einfach nur. Die DELL Systeme konnten wir bisher meistens auch nach 5 Jahren ersetzen, weil die dann anfingen unrund zu laufen (auch nach OS NeuInstallation). Das hatten wir bei den IBM Systemen auch gehabt. Bei Fujitsu und HPE nicht.

@Steffen
Ich habe eine Antwort von HPE bekommen. Eine Batterie scheint auch bei den FBWC Controllern bei zu sein. Sagt mir zumindest die Rückmeldung. Unterschied zwischen Gen9 und Gen10 soll sein, dass bei Gen9 die Batterie mit dabei war und bei Gen10 wieder extra mit bestellt werden muss. So steht es zumindest in dessen technischen Dokumenten.

 

[PHuV]

Wir haben vor Kurzem eine Kundeninfrastruktur von 6x "Blech" zu einer auf mehrere Räumlichkeiten verteilten VMWare (4 VMs) Umgebung umgezogen. Der Dienstleister hat auch eine mehrfach redundante NetApp, die wir als Storage per NFS angebunden haben.
:
Ich bin heilfroh, dass immer mehr Kunden ihre Blechkisten aufgeben und auf VServer setzen. Dann spart man sich den ganzen Stress mit der Hardware. Fällt ein VMWare Node aus, übernimmt eben ein anderer die Aufgabe.

Nicht alles ist gut mit VMs lösbar. Gerade performanceintensive Datenbankserver laufen nach meinen Erfahrungen als dedizierte Server besser mit Blech. Generell hast Du recht, VMs sparen eine Menge Platz und Probleme, aber es gibt immer noch viele Anwendungsfälle, wo man mit Blech besser fährt. Sobald es um Cluster und Co im BigData-Umfeld geht, geht das produktiv nur mit Blech, von VMs wird abgeraten.

Stichwort Fernwartung und Konsolen. Da ich für Kunden auf verschiedenen Systemen arbeiten muß, habe ich hier alles möglich erlebt. Ich kann Eure Erfahrung teilen, das Konsolen mit ActiveX bzw. über .Net erstaunlich performant und stabil laufen, und über Java es teilweise grausam ist. Schlimm finde ich auch Fernzugriffe über Citrix VPN und Webapps, das Ding ist bei diversen Kunden einfach nur grauenvoll, weil es permanent abstützt, die Verbindungen abbrechen und in der Bedienung wirklich arschlangsam ist. Vor allen Dingen macht hier wieder jeder Hoster und Geräteanbieter sein Ding, anstatt daß man mal hier auch gewisse Standards setzt.

 

[MarcBesken]

Bei uns sind wir bisher immer zurück zu Fujitsu (bei den Rackmounted bisher auch geblieben), weil wir da die besten Erfahrungen mit gemacht haben. Und weil dort auch Onboard Intel NICs verbaut sind. Bei HPE haben wir hauptsächlich Blades im Einsatz. HPE kam auc herst vor 4 Jahren mit den Blades bei uns rein und das iLO find ich richtig geil und die Server drehen auch einfach nur. Die DELL Systeme konnten wir bisher meistens auch nach 5 Jahren ersetzen, weil die dann anfingen unrund zu laufen (auch nach OS NeuInstallation). Das hatten wir bei den IBM Systemen auch gehabt. Bei Fujitsu und HPE nicht.

Ja, so macht da Jeder seine eigenen Erfahrungen. Solange Alles im Großen und Ganzen läuft, ist das ja auch ok. Bei Dell bin ich beispielsweise mit der SW-Unterstützung zur Ihrer Hardware nicht zufrieden, z.B. mit den LSI CIM-Providern zur Überwachung der RAID-Zustände in vSphere, aber das ist nur ein Beispiel. Prinzipiell sind die DELL-Systeme, die ich genutzt habe, HW-seitig auch recht stabil, aber IDRAC überzeugt mich nicht.

Gruß
Marc

Ergänzung (17. Januar 2018)

Nicht alles ist gut mit VMs lösbar. Gerade performanceintensive Datenbankserver laufen nach meinen Erfahrungen als dedizierte Server besser mit Blech. Generell hast Du recht, VMs sparen eine Menge Platz und Probleme, aber es gibt immer noch viele Anwendungsfälle, wo man mit Blech besser fährt. Sobald es um Cluster und Co im BigData-Umfeld geht, geht das produktiv nur mit Blech, von VMs wird abgeraten.

Z.B. SAP HANA, hatten wir als VM und läuft nun wieder direkt auf dem Blech.

Gruß
Marc

 

[Recharging]

Ungefühlt 15. Frage beantwortet?

Jup, hinreichend!
17 kam mir so herrlich ungerade vor.

 

[MarcBesken]

Jup, hinreichend!
17 kam mir so herrlich ungerade vor.

Ja, passiert schon mal

 

[PHuV]

Habs ganz vergessen, ich finde den Bericht auch super, schön mal zu sehen, wie das andere so machen. Ich hätte, wie manche hier, auch eher zu CentOS gegriffen, aber wenn Ihr damit so zurechtkommt, auch ok.