News In eigener Sache: Das neue Server-Setup von ComputerBase (2018)

[WhyNotZoidberg?]

lese ich hier schon die antworten vom nächsten gewinnspiel?

 

[Masamune2]

P408i-a RAID-Controller mit 2 GB Cache und BBU (Akku)

Warum kein FBWC? Das würde euch das Problem der sterbenden Akkus in fünf Jahren vom Hals schaffen.
Energiespeicher ist dann ein Kondensator und die Daten werden auf einen Flashbaustein gerettet.

 

[Falc410]

Habt ihr einen Load-Balancer noch davor oder wie werden die Anfragen verteilt? Und wie synchronisiert ihr die Daten zwischen den Servern?

 

[Revan335]

Wieso nicht Nextcloud oder eine andere Möglichkeit die dem Deutschen Recht und Datenschutz untersteht, sowie einen Serverstandort in Deutschland haben, anstatt diese auf die Amy Dienste/Server von Amazon und Co. zu packen?

 

[Steffen]

Habt ihr die Server eigentlich in einem Monitoring? Oder überwacht ihr diese anderweitig?

Ja, u.a. macht Pingdom von Außen eine Erreichbarkeitsprüfung und für CPU-Last, Speicherverbrauch etc nutzen wir Datadog.

Warum kein FBWC? Das würde euch das Problem der sterbenden Akkus in fünf Jahren vom Hals schaffen.
Energiespeicher ist dann ein Kondensator und die Daten werden auf einen Flashbaustein gerettet.

Ja, von der Kondensator-Lösung habe ich gehört und das klingt echt gut. Leider scheint es das bei HPE nicht zu geben. Oder?

Habt ihr einen Load-Balancer noch davor oder wie werden die Anfragen verteilt? Und wie synchronisiert ihr die Daten zwischen den Servern?

Es gibt aktuell leider noch kein Load-Balancing, weil vorher noch eine Lösung zum Synchronisieren der Bilddateien, Forum-Anhänge etc finden müssen, die aktuell einfach direkt in das Dateisystem eines der beiden Server geschrieben werden. So wirklich überzeugen konnte mich da noch keine Lösung. Es hat jetzt aber erstmal der Umstieg auf die neue Forumsoftware Vorrang, weil wir ein Load-Balancing nicht aus Lastgründen brauchen, sondern "nur" für Ausfallschutz. Bei den Audio-, Video- und Download-Dateien gibt es das Problem nicht, die liegen einfach auf S3.

Wieso nicht Nextcloud oder eine andere Möglichkeit die dem Deutschen Recht und Datenschutz untersteht, sowie einen Serverstandort in Deutschland haben, anstatt diese auf die Amy Dienste/Server von Amazon und Co. zu packen?

Wir nutzen die S3-Region "eu-central-1" (also Frankfurt). Und wir speichern dort ja nicht die Datenbank, sondern ohnehin öffentliche Audio-, Video- und Download-Dateien.

 

[Schnitz]

Hardware schön und gut aber welche Software nutzt ihr? CentOS + Apache2?

 

[Logic]

Danke für die Antwort. Datadog kenn ich bisher nicht (mal anschauen). Scheint eine Art multifunktionales Dashboard zu sein, sehe ich das richtig? Und dort liegt bspw. wieder ein richtiges Monitoring-System drunter, was die Daten liefert?!

 

[zepho]

Server housing ist für is euch günstiger als Rootserver zu nutzen?

 

[duskkk]

Was bei S3 teuer ist, das ist der Traffic, deshalb erfolgt die Auslieferung der Dateien über einen cachenden Proxy auf unseren eigenen Servern.

Naja es liefert aber auch niemand über S3 aus. Wir haben da Cloudfront davor geschalten.
Auf S3 liegen die Medien rum. Cloudfront holt sich das Zeug von S3 und fungiert als Cache.

Für euch ist der eigene Proxy vermutlich günstiger als Cloudfront nehme ich an
Und die zu erwartende Last könnt ihr ja bei computerbase sehr gut vorhersagen.

Cloudfront oder ähnliches skaliert halt beliebig und man hat wesentlich mehr Redundanz als zwei Server.

Sind die zwei Server in unterschiedlichen Locations?

 

[GregoryH]

Es hat jetzt aber erstmal der Umstieg auf die neue Forumsoftware Vorrang [...].

Aus Interesse: Worauf wechselt ihr? IPB/Xenforo?

 

[Steffen]

Hardware schön und gut aber welche Software nutzt ihr? CentOS + Apache2?

Im Wesentlichen Gentoo Linux, nginx, PHP 7.1, Percona Server ("MySQL") 5.6 und Redis.

Danke für die Antwort. Datadog kenn ich bisher nicht (mal anschauen). Scheint eine Art multifunktionales Dashboard zu sein, sehe ich das richtig? Und dort liegt bspw. wieder ein richtiges Monitoring-System drunter, was die Daten liefert?!

Ja, es gibt auch noch ServerDensity und ein paar andere Dienste dieser Art. Auf den Servern installiert man einen Agent (bei Datadog dd-agent, freie Software), der minütlich Daten zum Systemstatus (CPU-Last, Speicherauslastung, Traffic, ...) erhebt und an Datadog funkt (das Dashboard ist dann proprietär, aber nun gut, dafür muss man sich halt sonst um nichts kümmern).

Du kannst dir auch mal NetData anschauen (das zeigt zwar glaube ich nur Live-Daten an, aber ansonsten macht das einen guten Eindruck): https://github.com/firehol/netdata

 

[BlackWidowmaker]

Hallo @ all,

erstmal Danke für diesen internen Einblick. Manches ist für den Außenstehenden durchaus erstaunlich. Wenn ich das so bei Geizhals überschlage, dann erscheint das Ganze gar nicht so teuer wie man eventuell annehmen könnte. So mancher Freak hier auf CB hat mit übertriebener 4x Titan-X-SLI Konfig samt 18C CPU usw mehr für sein System auszugeben.

Wirklich lustig fand ich die 491GB an Bildern. Da hätte ich gedacht, daß man den 100x Platz dafür bräuchte, zumindest aber den 10x. Meine Frau hat nämlich exakt die gleiche Speichermenge an Eigenen Bildern auf unserem heimischen File-Server. 491GB in 77.186 Dateien.

Aber sag ihr jemand mal sie soll endlich den Ganzen Scheiß aufräumen und ordentlich löschen. Da wird sie zu Furie.

Wieso aber dann auf HDD? Bei den Datenmengen wären SSDs doch irgendwo erreichbar oder? KA ob da z.B. eine 850 Pro den Anforderungen gewachsen ist, aber bei den Datenmengen wäre das nicht machbar?

 

[Yann1ck]

@Gregory: Es wird wohl XenForo, hier gibt auch nen kleinen Thread dazu.

 

[GregoryH]

XenForo ist eine gute Software, haben wir in unserem kleinen Forum auch im Einsatz! IPB hat zwar coole Features, aber da zahlt man sich für jedes Feature dumm und dämlich...

 

[pyro91]

@BlackWidowmaker

Du kannst Consumer SSDs nicht mit Server SSDs vergleichen. Die SSDs für Server sind extrem teuer...

 

[Steffen]

Server housing ist für is euch günstiger als Rootserver zu nutzen?

Mit einem Root-Server mietet man ja letztendlich anteilig Ressourcen eines dedizierten Servers. Tendenziell ist das natürlich preiswerter, aber die Leistung dürfte auch niedriger sein, sodass man dann eventuell mehr Server braucht. Ich würde sagen man ist in erster Linie flexibler. An dedizierten Servern finde ich praktisch, dass man die Hardware-Ressourcen garantiert hat und dass es weniger Komplexität gibt (weil keine Virtualisierung erfolgt).

Naja es liefert aber auch niemand über S3 aus. Wir haben da Cloudfront davor geschalten.
Auf S3 liegen die Medien rum. Cloudfront holt sich das Zeug von S3 und fungiert als Cache.

Für euch ist der eigene Proxy vermutlich günstiger als Cloudfront nehme ich an
Und die zu erwartende Last könnt ihr ja bei computerbase sehr gut vorhersagen.

Cloudfront oder ähnliches skaliert halt beliebig und man hat wesentlich mehr Redundanz als zwei Server.

Der Traffic ist bei Cloudfront doch genauso teuer wie bei S3, oder? Soweit ich weiß soll CloudFront "nur" bei der Skalierung helfen. Aber ja, wenn unsere eigenen Server das nicht mehr packen sollten, dann wäre Cloudfront vermutlich eine Option.

Sind die zwei Server in unterschiedlichen Locations?

Nein.

Aus Interesse: Worauf wechselt ihr? IPB/Xenforo?

XenForo.

Wieso aber dann auf HDD? Bei den Datenmengen wären SSDs doch irgendwo erreichbar oder? KA ob da z.B. eine 850 Pro den Anforderungen gewachsen ist, aber bei den Datenmengen wäre das nicht machbar?

SSDs kosten je Gigabyte nach wie vor mehr als HDDs. Für Dateien, bei denen es auf ein paar Millisekunden Zugriffszeit nicht ankommt, wäre das in meinen Augen hinausgeworfenes Geld. Sinn ergibt eine SSD zum Beispiel als Speicherort für eine Datenbank und dafür nutzen wir sie.

 

[DefconDev]

Vielen Dank für diesen Artikel. Als Laie, der mit Systemintegration wenig am Hut hat, bin ich verwundert dass nur zwei Server mit jeweils 96GB RAM ausreichend sind, für die breite Masse die hier ein und ausgeht. Ist CB nicht sogar die meist besuchteste Seite Deutschlands in der IT-Welt?

 

[Bloedhren]

Manches ist für den Außenstehenden durchaus erstaunlich. Wenn ich das so bei Geizhals überschlage, dann erscheint das Ganze gar nicht so teuer wie man eventuell annehmen könnte. So mancher Freak hier auf CB hat mit übertriebener 4x Titan-X-SLI Konfig samt 18C CPU usw mehr für sein System auszugeben.

Die Hardware Kosten sind sehr selten wirklich teuer. Der teure Aspekt ist jeweils die langfristige Wartung und Instandhaltung. Wie zum Beispiel im Artikel beschrieben die Ausfälle der RAID-Controller-Akkus oder das updaten/patchen vom OS.

Vielen Dank für diesen Artikel. Als Laie, der mit Systemintegration wenig am Hut hat, bin ich verwundert dass nur zwei Server mit jeweils 96GB RAM ausreichend sind, für die breite Masse die hier ein und ausgeht. Ist CB nicht sogar die meist besuchteste Seite Deutschlands in der IT-Welt?

Das ist vermutlich sogar ein eher grosszüziges overprovisioning. Computerbase ist zu einem grossen Teil statisch. Dadurch kannst du vermutlich 90% der Seitenaurufe cachen. Mit dedizierter cache software ist das sehr effizient und benötigt kaum resourcen.

 

[Krafty]

Ich benutze sonst ja selten die Suchfunktion aber gerade vorhin direkt 2 mal und hatte mich schon gewundert, wieso quasi fast augenblicklich die Ergebnisse kamen

 

[Weltenspinner]

Moment mal...
Computerbase würde komplett auf zwei MicroSDXC-Karten passen? oO