CPU, Board und Ram für Server gesucht

[rchr]

Hallo Leute,

Mein Homeserver werkelt nun schon seit 3 Jahren in der aktuellen Konfiguration vor sich hin:
- Gigabyte GA-Z77X-D3H
- Intel Celeron G550
- 8GB Ram
- Windows HomeServer 2011

Inzwischen sind die Anforderungen gewachsen und neue Hardware ist dazu gekommen.
Darunter z.B. ein LSI 9201-16i SAS-Controller, welcher aktuell 12xWD Red 4TB befeuert sowie ein HP Ultrium 6250 Bandlaufwerk, welches über einen LSI 9207-8e SAS-Controller am Server hängt.
Auch die Anforderungen auf Seite der Software sind gestiegen.
Inzwischen sind fast 20 TB an Daten zu verwalten, es läuft ab und an eine VM und diverse weitere Aufgaben wie FTP-Server, Webserver, Mailserver, etc. sollen übernommen werden. Der Server hängt dafür über eine 1Gbit-Leitung (symmetrisch, also 1GBit Upload und 1GBit Download) am Internet.

Und immer häufiger ist der Server einfach völlig ausgelastet, die CPU auf 100% und die Daten tröpfeln nur noch so vor sich hin. z.B. beim Backup ist das System komplett ausgelastet und schafft dennoch kaum 50 MB/sek.

Kurzum: ein Upgrade muss her...!
Was ich mir wünsche:
- 16GB ECC-Ram
- Board mit mindestens 3 PCIe x8-Steckplätzen (2 SAS-Controller & Reserve)
- Ein performanter onboard-NIC oder noch ein Zusätzlicher PCIe-Steckplatz für meinen separaten Intel NIC (liefert konstant 120MB/sek über Gbit-Lan).
- IPMI mit KVM over Lan
- Wenn möglich ein Steckplatz für ein mSATA resp. SATA M.2-Laufwerk für das OS
- Als OS soll Windows Server 2012 R2 Essentials zum Einsatz kommen

Das Ganze soll dann in einen grösseren Tower verbaut werden.
Wenn das Budget am Ende noch reicht, wäre ein Lian-Li PC-A79 mein Favorit (nur damit ihr wisst, von welchen Ausmassen ich spreche).

Tja, so weit so gut - nur leider habe ich überhaupt keine Ahnung, welche Kombi aus Board und Prozessor (ich denke mal ein Xeon) ich da nehmen soll.
Und leider findet man zu solchen Produkten auch nicht wirklich viele Testergebnisse oder Berichte, etc.
Daher hoffe ich, dass ihr mir hier weiterhelfen könnt.

Vielen Dank und Gruss

Christoph

Eingebaut werden soll das ganze in einen BigTower.

 

[HominiLupus]

Ich würde da ein Supermicro Board vorschlagen. Sowas z.B. http://geizhals.de/supermicro-x11ssa-f-retail-mbd-x11ssa-f-o-a1355023.html?hloc=at&hloc=de wobei die Skylake Plattform eben nicht wirklich 24 PCIe Lanes hat

 

[And.!]

Wenn bis jetzt nur die CPU bremst, wieso tauscht du die nicht gegen einen sparsamen Ivy Brigde Quad Core aus? Performancemäßig werden Welten zwischen deiner jetzigen CPU und der neuen liegen. 16GB Ram sollten auch ohne Probleme auf dem aktuellen Board laufen, auch wenn ohne ECC.

 

[DunklerRabe]

10 zur Wahl, such dir eins aus welches deine sonstigen Anforderungen erfüllt: http://geizhals.de/?cat=mbxeon&xf=4..._1~7086_M.2/M-Key+(PCIe+3.0+x4+++SATA)#xf_top

Es gibt auch noch 2011-3 Boards von Supermicro, aber die kommen ohne M.2 daher: http://geizhals.de/?cat=mbxeon&xf=644_Sockel+2011-3~544_Supermicro~4921_1~494_IPMI#xf_top

 

[rchr]

Ja, das habe ich mir auch überlegt, einfach die CPU zu tauschen und Ram aufzustocken.
ABER: ich möchte halt doch gerne ECC haben. Inzwischen arbeite ich doch mit grösseren Datenmengen und ich habe einige Artikel gelesen, warum sich hier ECC durchaus lohnen könnte, resp. ich konnte bei den grossen Datenmengen ein paar Fehler nachvollziehen, welche wohl - zumindest laut den Artikeln - mit ECC nicht aufgetreten wären.
Und: ich möchte endlich weg von diesem "ich stell mal einen Monitor auf den Server und renn in den Keller um ihn neu zu starten"...(Stichwort IPMI).

Gruss

Christoph

 

[mensch183]

Und immer häufiger ist der Server einfach völlig ausgelastet, die CPU auf 100% und die Daten tröpfeln nur noch so vor sich hin

Womit ist die CPU denn ausgelastet? Wenn I/O lahmt, weil die CPU total zu ist, würde ich erstmal Ursachensuche betreiben statt mehr Hardware drauf zu werfen.

 

[rchr]

Die CPU ist z.B. mit dem Verschlüsseln der Daten (AES256) oder dem im Hintergrund laufenden Backup von 20 TB ausgelastet.
Da gibt es keine Ursachensuche - nur Lösungen!

 

[DunklerRabe]

Was will man denn da noch nach Ursachen suchen? Die CPU befeuert die ganzen lokalen Dienste, das OS mit dem ganzen Storage Stack und den kompletten Netzwerktraffic, wo jedes Paket brav einen Interrupt generiert. Da kann man sich leicht vorstellen, dass ein Celeron G550 einfach an seine Grenzen kommt.

Die Umstellung auf ein System mit ECC ist übrigens genau richtig. Ich predige ja immer, dass es was anderes als ECC RAM gar nicht mehr geben sollte, aber auf mich hört ja niemand. Wie so häufig wird die Erkenntnis so langsam, aber stetig, vor sich hin tröpfelnd irgendwann auch in der letzten Ecke angekommen sein. Gut, dass du den Vorteil offenbar ja schon erkannt hast

Boards hab ich ja oben schon verlinkt, abhängig davon kann man sich dann eine stärkere CPU aussuchen. Am Ende ist es womöglich auch eine Frage des Budgets.

 

[mensch183]

Was will man denn da noch nach Ursachen suchen? Die CPU befeuert die ganzen lokalen Dienste, das OS mit dem ganzen Storage Stack und den kompletten Netzwerktraffic, wo jedes Paket brav einen Interrupt generiert. Da kann man sich leicht vorstellen, dass ein Celeron G550 einfach an seine Grenzen kommt.

Er hat keine 20 Jahre alte Hardware, die mal so funktionierte. Ein GB-Ethernet, auch mit kleinen Frames, händelt die CPU mit links im Halbschlaf. Deshalb würde ich wie gesagt analysieren, was genau der CPU so viel Stress macht. Sonst kann es passieren, dass sich das System trotz Umbau auf einen superfetten Xeon noch haargenauso verhält wie vorher.

 

[rchr]

Genau - die Ursachen muss man nicht suchen, die kennt man
Das GBit-Lan alleine verursacht übrigens einen CPU-Load von 30%.
Wenn ich ein Backup ohne Verschlüsselung laufen lasse, ist die CPU auf 100% und es kommen knapp 100Mb/sek "hinten raus". Ein Backup mit AES256-Verschlüsselung läuft dann nur noch mit 50Mb/sek.

Danke übrigens für deine Zusprache betreffend ECC.

Vom Budget her sollte es dann schon passen.
Ich möchte im gleichen Zug ja auch sonst noch etwas aufrüsten (HDD, etc.).
Ich bin bereit, etwa 2000.- zu investieren und rechne etwa so:
- 3x WD Red 4TB (um auf Total 15 zu kommen): 500.-
- Backplane IB-555SK (um auf Total 3 zu kommen): 150.-
- Gehäuse Lian-Li PC-A79B: 400.-
- M.2 SSD 64GB für das OS (irgendeine): 50.-
- 2x8 GB Kingston Value Ram (ECC, Registered): 150.-
- Kabel und Kleinteile: 100.-
- Netzteil, DVD-Rom, 2 Backplanes, 12 HDDs, SAS-Controller, OS, etc. habe ich schon - wird weiterverwendet.
- Bleiben also maimal so ca. 650.- für Board und CPU.

Ich denke, damit sollte man etwas Gescheites hinbekommen. Natürlich muss das Budget nicht völlig ausgereizt werden, aber es steht grundsätzlich zur Verfügung...
Bisher gefallen mir die Boards von AsRock am besten. Mal schauen, was ich sonst noch so finde.
Was wäre denn von der CPU her empfehlenswert?

Gruss

Christoph

PS: Hatte mir auch schon überlegt, einen fertigen Server zu kaufen (sehr gut gefällt mir der Lenovo Thinkserver TD350), aber dort muss man dann z.B. auch die HDDs vom Serverhersteller kaufen (da die Backplanes nur mit Dummies bestückt sind und man die passenden Trays nur mit Inhalt - sprich HDD - bekommt). Und die werden dann erstens vergoldet und zweitens habe ich ja schon HDDs....

 

[DunklerRabe]

Dann schlag ich mal was vor:

http://geizhals.de/supermicro-x11ssi-ln4f-retail-mbd-x11ssi-ln4f-o-a1355024.html
http://geizhals.de/intel-xeon-e3-1230-v5-bx80662e31230v5-a1343661.html
2x http://geizhals.de/samsung-dimm-8gb-m391a1g43db0-cpb-a1246195.html

RDIMM laufen da nicht, daher ECC UDIMM nochmal dazu. Und dann natürlich noch einen Sockel 1151 Kühler deiner Wahl.

2011-3 würde auch gehen wird, aber etwas teurer:

http://geizhals.de/asrock-rack-epc612d8-a1203498.html
http://geizhals.de/intel-xeon-e5-1620-v3-bx80644e51620v3-a1164868.html
2x http://geizhals.de/samsung-dimm-8gb-m391a1g43db0-cpb-a1246195.html

Und wiederum ein Kühler deiner Wahl, ist allerdings der 2011 Narrow ILM. Die Auswahl ist also sowieso nicht groß.
Da würden dann auch RDIMM laufen, aber nur wenn man einen E5-26xx v3 dazu kauft.

edit:
So viel teurer ist das eigentlich garnicht, naja...

 

[mensch183]

Uhh, 30% durchs Ethernet bei der schnellen CPU? Das ist eine Größenordnung mehr als man erwarten würde. Da werden entweder die rein/rauskommenden Daten noch 10 mal verwurstet oder an der Konfig ist was faul. AES-Verschlüsselung beim Backup klingt nach einer rein theoretischen Last, wenn man ein HP 6250 hat.

Egal, offensichtlich muss was neues her. Für 3*x8-Sots und M.2 kommt man mit Sockel-1151+C236 + Xeon v5 leider geradeso nicht hin. Die verfügbaren Lanes sind damit nich so aufzuteilen, wie du es haben möchtest. Mit x8,x8,x4 gibts C236-Boards. Mit 3*x8 nicht. Ist die M.2 zum Booten wirklich nötig? 4 Lanes für fast nichts. Tuts nicht vielleicht eine normale SATA-SSD? Du forderst leider irre viele, breite PCIe-Slots für deine paar Platten. Dazu die M.2. Denk dran ... die Boards haben PCIe 3, also pro Lane den doppelten Durchsatz deines alten Boards.

Wenn du keine Abstriche bei den Slots machen möchtest, bleibt dir nur der Griff zu älteren Plattformen (Haswell).

 

[rchr]

Oh, ich sehe schon - mit M.2 habe ich etwas angerichtet...
Also: nein, das ist nicht nötig! Ich hatte oben ja geschrieben "wenn möglich".
Klar kann ich auch problemlos von einer ganz normalen SATA-SSD booten.
Ich dachte nur, wenn man es sich gerade so aussuchen kann, wäre es noch elegant, 2 Kabel weniger verlegen zu müssen und stattdessen einfach ein Kärtchen einzuklipsen...
Aber wenn das a) so viel Abstrich bei den PCIe-Lanes und b) so viel geringere Auswahl an Boards bedeutet, ist es nicht wirklich nötig.

Unbedingt sein müssen 2x PCIe x8. Das sind nämlich die SAS-Controller. Und die müssen da wieder rein ;-)
Dann hätte ich aber noch gerne etwas Reserve für später. Falls mir der Speicherplatz (schon wieder) ausgeht, könnte ich dann einfach noch ein DAS über SAS anschliessen (was aber ggf. noch einen Controller bräuchte).

Was die Last angeht:
Als ich damals vor 3 Jahren den aktuellen Server zusammengesteckt habe, wurde ich nach der CPU-Last bei Ethernet gefragt.
Und damals waren die Leute erstaunt, dass es "nur" 15-30% (je nach dem ob lesen oder schreiben) sind; erwartet wurde von den Kollegen, die mich damals beraten haben, ca. 50%.
Und beim Backup schreibe ich natürlich nicht direkt aufs Band. Ich lasse zuerst eine Sicherung auf der Festplatte machen und schreibe diese erst anschliessend aufs Band. Das wird so von (verschiedenen) Tape-Drive-Herstellern empfohlen, um a) bestmöglichen Durchsatz zu haben und b) das Band zu schonen (Stop-and-go soll wohl tödlich sein für die Bänder).

Gruss

Christoph

PS: beim Ram bevorzuge ich Kingston. Nicht aus Empirie, lediglich nach 20 Jahren Erfahrung...

 

[Holt]

ECC RAM mit entsprechender Plattform die das unterstützt (sonst hängen die Bits auch nur nutzlos in der Luft) würde ich auf jeden Fall auch empfehlen. Statt der Skylake E3 Xeons würde ich besser gleich einen S. 2011-3 Xeon nehmen, die Plattform bietet viel mehr I/O, Skylake hat auch als E3 nur 16 PCIe Lanes direkt von der CPU, jeder Xeon E5 hat 40 und der Rest der Lanes bei Skylake kommt immer vom Chipsatz der sich die DMI3 Anbindung, also PCIe 3.0 x4, teilen muss. Dann würde ich auf M.2 pfeiffen und lieber die Intel 750 nehmen, das ist die Consumer Version der DC P3500 und die hat auch die Enterprise Features wie Full-Power-Loss Protection und Internal-Data-Path Protection, was die beiden Hauptrisiken von Datenkorruption bei SSDs eliminiert.

Bzgl. der HDDs solltest Du beim nächsten Upgrade beachten, dass die alten WD Red nur für maximal 5 HDDs in einem Gehäuse gemacht sind, die aktuellen für maximal 8. Die haben zwar einen Vibrationsschutz, aber da gibt es auch Unterschiede, wie man z.B. in der NAS Drive Selection Guide von Seagate anhand dieser schönen Übersicht sieht:

Seagate ® NAS, 1 to 5 drive bays, Vibration Tolerance Features: Dual-Plane Balance
Seagate Constellation® CS 6 to 8 drive bays, Vibration Tolerance Features: RV Sensors
Seagate Constellation ES.3 9+ drive bays, Vibration Tolerance Features: RV Sensors and TCA Motor

Die UBER Problematik kennst Du hoffentlich und erwartest nicht ein RAID 5 mit 12 Red 4TB sicher noch rebuilden zu können, wenn das mal nötig sein sollte. Nimm auf jeden Fall dann ein RAID 6 oder HDDs mit einer UBER von 1:10^15 statt den Red oder Red Pro, die alle nur 1:10^14 haben, auch wenn WD 10:10^15 ins Datenblatt der Red Pro schreibt

Interessant finde ich in dem Zusammenhang übrigens die Seagate Surveillance HDD 7200rpm 8TB, SATA 6Gb/s (ST8000VX0002) ab € 335,40, das sind nur 42€/TB für eine HDD mit RV Sensoren für mehr als 8 HDDs in einem Gehäuse, einer 1:10^15 UBER und 180TB Workload/Jahr, wenn Du alle 2 Wochen ein Scrubbing oder Vollbackup machst, wird die zwar schon davon überschritten, aber das Workloadrating der Red verrät WD gleich gar nicht und "gerüchteweise" sollen es 120 bis 150TB sein. Damit solltest Du die volle Kapazität Deiner 4TB auch nicht öfter als 30 bis 37mal im Jahr komplett lesen oder beschreiben.

Übrigens, die Red 4TB kostet 38,80€/TB, die Red 6TB 41,83€/TB und die Red Pro 6TB sogar 48,91€/TB. 8TB gibt es nicht und rechnet man die Infrastruktur in Form von Einbauplätzen, Controllerports und Stromanschlüssen dazu und dann noch den Stromverbrauch, so sind die großen 8TB HDDs und vielleicht sogar die HGST He10 mit ihren 1TB und der dank Heliumfüllung geringen Leistungsaufnahme auf Dauer sogar billiger als viele kleine HDDs zu verwenden.

 

[rchr]

@Holt:
Danke für den Input.
Ja, das mit dem Rebuild, etc. ist mir bewusst. Daher benutze ich für die Daten auch ein RAID-1. RAID-6 hat die aktuelle CPU nicht geschafft und alles andere war mir zu gefährlich. Dann gibt es üblicherweise alle paar Monate ein Vollbackup und sonst Wochenweise inkrementelle Backups. Die wichtigsten Daten werden zusätzlich "on the fly" in der Cloud gesichert (das ist aber ein anderes Thema).

Was die Kosten angeht: Wenn das nächste "grosse" Upgrade kommt, werde ich sicher über solche Platten nachdenken. Aktuell habe ich aber gerade kürzlich in 12x4 TB Red investiert und möchte die ungern gleich wieder abschreiben wegen neuen Platten.

Und was die Anzahl Platten angeht: es ist immer nur von NAS-Boxen die Rede. NAS-Boxen sind klein, leicht und schwingen viel stärker, als ein ausgewachsener Big-Tower, der mit Inhalt auf ca. 20-25kg kommt....

Gruss

Christoph

 

[mensch183]

Bei C236-Boards hängen die bis zu 2 x8-Slots immer an der CPU. Der Chipsatz kann seine Lanes nur für Slots bis x4 bündeln. Deshalb gibts auch keine Boards mit 3*x8 in dem Bereich und deshalb muß man sich um die Performance der 2 x8-Slots wenig Sorgen machen. WENN man damit auskommt, ist C236 eine gute Wahl.

 

[Holt]

Mit x8,x8,x4 gibts C236-Boards. Mit 3*x8 nicht.

Eben, weil die CPU nur 16 Lanes bietet und die anderen 4 dann vom Chipsatz kommen, da Lanes des Chipsatzes können aber maximal bis x4 konfiguriert werden, mehr macht ja auch keinen Sinn, wenn die Daten sowieso über PCIe 3.0 x4 (eben DMI3) müssen.

Denk dran ... die Boards haben PCIe 3, also pro Lane den doppelten Durchsatz deines alten Boards.

Vergiss es, der LSI SAS 9201-16i hat nur ein PCIe 2.0 x8 Interface, da nutzt es nichts wenn der Slot PCIe 3.0 bietet. Der LSI SAS 9207-8e hat schon PCIe 3.0, aber da hängt ja nur das Tapelaufwerk dran.

bleibt dir nur der Griff zu älteren Plattformen (Haswell).

Noch sind die Haswell-EP aktuell und Broadwell-EP kommt ja auch bald und so groß ist der Vorteil von Skylake für diese Anwendung auch nicht.

wenn man es sich gerade so aussuchen kann, wäre es noch elegant, 2 Kabel weniger verlegen zu müssen

Bei schon 12 HDDs im Rechner, sollte es darauf doch nicht so ankommen

Dann hätte ich aber noch gerne etwas Reserve für später.

Dann den S. 2011-3 mit Xeon E5, da gibt es genug PCIe Lanes, beim E3 wärst Du mit x8 Slot immer auf 2 begrenzt und SAS HBAs/RAID Controller haben immer 8 PCIe Lanes.

Falls mir der Speicherplatz (schon wieder) ausgeht, könnte ich dann einfach noch ein DAS über SAS anschliessen (was aber ggf. noch einen Controller bräuchte).

Oder halt größere Platten verbauen, das spart wie gesagt bei der Infrastruktur.

beim Ram bevorzuge ich Kingston. Nicht aus Empirie, lediglich nach 20 Jahren Erfahrung...

Kingston stellt keine NAND oder DRAM Dies her, die haben keine Fabs, die kaufen alles zu, Micron SK Hynix und Samsung sind die großen DRAM Hersteller, die drei stellen über 90% der DRAMs weltweit her und da kauft Kingston auch die Chips für seine Riegel ein. Da kann man auch mal Pech haben und Probleme bekommen, aber dafür hat man ja dann ECC RAM und ein OS welches die korrigierbaren Fehler aufzeichnet und auch unkorrigierbare Fehler reagieren kann.

 

[rchr]

So, ich habe mir jetzt mal ein paar Sachen rausgesucht:
Board: Supermicro X10SRL-F mit Intel C612-Chipsatz und jede Menge PCIe-Lanes
Ram: 2x Kingston ValueRam KVR21R15S4/8 (registered, ECC)
CPU: Xeon E5-1620 v3 (4x3,5Ghz)

Damit komme ich auf ca. 850.- und bin also noch gut im Budget.

Was meint ihr zu dieser Kombi?

Gruss

Christoph

 

[Humptidumpti]

Die Kombi ist schon gut, aber für ein Home System absolut overpowered. Normalerweise kommt jeder Core i3 mit deinen Anforderungen spielend klar.

Mein Server ist ähnlich wie dein jetziger. Z77 Board nur mit kleinem Core i3. Der kommt beim kopieren von großen Datenmengen nicht mal aus dem Idle Takt. ~113MB/s übers Netzwerk erzeugt 4% Prozessorlast. Ich hab zwar nix verschlüsselt und meine Controller sind richtige Raid controller und nicht nur HBAs, aber irgendwas läuft bei dir schief. Ich würde einfach mal versuchen von dem echt grottigen Home Server 2011 weg zu kommen. Die Treiber dafür waren schon immer ne Katastrophe.

Klar der Celeron ist keine Rakete. Hier wäre evtl. ein Core i3 oder gar ein Core i5 besser. Aber wenn du bei dem Home Server 2011 bleibst fürchte ich das du jede menge Kohle raushauen wirst und dafür relativ wenig mehr raus bekommst.

 

[rchr]

Hättest du mein Initialposting gelesen, so wüsstest du Bescheid betreffend OS.

Und: Seit wann geht ECC und IPMI mit Core i?

Gruss

Christoph