Vorweg ich bin Legasteniker und bräuchte enorm viel Zeit einen längeren Text absolut sauber abzuliefern. Daher hier die Trigger Warnung. Wer damit ein Problem hat bitte nicht weiterlesen.
Ich bin auch ganz frisch dabei mal ein wenig mehr experimentierraum zu schaffen ohne die Bank zu sprengen oder zu viele Kompromisse zu machen. Daher kann ich anbieten dir hier meine ersten Erfahrungen zu schildern. Bedenke bitte das ich selbst erst am Anfang stehe.
Ich habe ein Gigabyte MC 12 leo (3950x) und ein Asrock Rack x470d4u (5950x). Auf beiden läuft TrueNas Scale (Zitteraal). Der AsRock Server ist mein aktives System das im Idealfall nicht ausfällt. Das MC12 ist meine Spielwiese. Hier teste ich alles aus bevor ich es ggf. auf das aktiven System darf. Ich kann mich meinen Vorrednern nur anschließen. Mehrere Systeme sind besser als eins Zentral. Daher hab ich zu dem aktiven und dem test Server auch noch diverse Raspberrys:
Pi5 Nvme (Homeassistant)
Pi4 (Unifi Conroller + Pi Hole)
Pi4 (Oktoprint)
Pi4 (Ausfallersatz und bereitliegende Images)
Zur Hardware:
Specs ASRock: Das ist der immer aktive Server
- 5950X (65 Watt)
- 2x 32gb Samsung ECC 2600 (läuft nur auf 2100 und auch nur mit manuellen Settings - da geht sicher auch mehr wenn man sich die Zeit für optimale manuelle Settings nimmt. Mehr als 2 Module hab ich nicht zum laufen gebracht. Hätte eigentlich gerne 128gb ram)
- Intel Arc 310
- PCIe Controller mit 5x 8TB HDD (Toshiba N)
- 1x Nvme 2TB 1x Nvme 1TB
- 250 GB Nvme SSD per USB
- 2x 120GB Sata SSD
- 1x 4TB HDD
- 1x 10GbE Intel Nic
Specs MC12: Test Server (liegt offen zum schnellen basteln auf einem Bench Tabel)
-3950x (65 Watt)
- 4x16GB Samsung ECC Ram
- Intel Arc 310
- SATA SSDS: 2x 120GB, 1x 1TB, 1x2TB
- 1x 1TB Nvme SSD
- 1x 500GB Nvme USB
- 10gbE Nic (ist noch auf dem Postweg)
3x Externe HDDs fürs Backup
Ram und CPU:
Für mich war ZFS wichtig daher ist ECC Ram und eine entsprechende CPU Pflicht. Bei den CPU beschränkt sich damit die wahl auf AM4 und AM5 oder Intel Xeon. Selbst bei den AMD CPUs ist vorsicht geboten. Die G Modelle unterstützen ECC zu 90% nicht. Stromverbrauch ist ein weiteres Thema. Wenn du da noch mehr Infos willst sag bescheid.
Ich hatte hier bissher einen 2700x, 3950x und 5950x im Einstatz. Der 2700X war dann doch zu schwach (wenig Kerne für die VMs). Die beiden 16 Kerner habe ich im 65 Watt Modus laufen. Ich werde bei Gelegenheit noch ein wenig weiter optimieren aber das geht jetzt schon klar.
RAM ist simpel: Viel hilft viel. Ich würde außerdem dazu raten auf 32GB Module zu setzten. Zum einen hast du nur so die möglichkeit auf 128gb voll auszubauen zum anderen sind 2 Module deutlich stressfreier zum laufen zu bringen. Ich nutze Samsung ECC Ram.
Mainboard:
Für mich war ein managment Interface wichtig. Es ist einfach sehr praktisch neben den Remote/SSH what ever Verbindungen zu den VMs auch wirklich zu sehen was der Server darunter ausgibt oder BIOS Settings verändern etc. Das nutze ich so intensiv dass ich meine Workstation die das nicht kann mit einem Rpi nachrüsten werde. Wie gut das funktioniert kann ich noch nicht sagen.
Auch geil ist auch dass man stressfrei die eingestzte Grafikkarte durchreichen kann weil das System die IPMI karte nutzt. An sich auch mit ner CPU die eine GPU integriert hat möglich aber da siehts dann mitunter schlechter mit dem ECC support aus.
ASRock Erfahrungen:
- auch mit aktuellstem Beta Bios probleme in der Kombi 5950 + mehr als 2 Ram Module (mit 2700x kein Problem)
- super zickiges Brett. Wenn es läuft läufts absolut stabil auch über Monate. Bis dahin ist Geduld gefragt. Das hat bei mir sogar bis zu unterstützung vom support und custom bios geführt. Aber egal Ente gut alles gut.
- Keine BIOS Settings über das IPMI Web Interface (Über Ipmi und remote dectop natürlich kein Thema)
- meine pcie solts sind jetzt voll belegt hätte gerne noch Platz für einen weiteren HDD Controller. Daher würde ich wenn ich nochmal die Wahl hätte auf das Brett mit 10gbe nic setzen dann ist ein Slot mehr frei.
- mit der Ryzen 5000 funktioniert die Hardware Listung in IPMI nur bedingt
- Bios flash unf BMC flash aus dem IPMI Interface raus easy und praktisch
- Haufenweise SATA Ports auf dem Brett (wenn du Proxmox o.ä. nutzt würde ich trotzdem einen controller kaufen damit du den durchreichen kannst. Solltest du Truenas nativ nutzten ist das unnötig)
Unterm Strich sehr happy mit dem Brett
MC12 Erfahrungen:
- geiles Teil hab ich für 50€ geschossen. Zum Vergleich das von den features sehr ähnliche asrock hat um die 300€ gekostet.
- Läuft sauber auch mit R5000 und vollbelegten Ram Slots
- ACHTUNG: CPUS der Reihen R1000 und R2000 sind nicht kompatibel. Es gibt auch kein entsprechendes BIOS. Inital kommt das Brett mit einem BIOS das NUR (!) zu R3000 kompatibel ist. Ein Bios flash ohne externe Hardware ist nur von diesen und R5000 möglich. Ohne CPU oder mit alter CPU ist ein Flash nicht möglich.
- Insgesamt deutlich einfacher zum laufen zu bringen als das ASRock Brett
- Nur 1xpcie16 1xpcie4 (dementsprechend mit Graka und 10GbeNic schon voll)
- Nur ein M2 Slot
Fazit Mobo:
Ich hab bei beiden Bretter keinen Remote Media Einstatz über ein SMB im BMC hinbekommen. Aber das liegt an mir denke ich da mach ich evtl. noch nen sparaten Post. Ansonsten kann ich das MC12 nur wärmstens empfehlen. Selbst für 100€ wäre das noch ein absoluter Schnapper. Die Bewertungen sind schlecht das ist aber in meinen Augen vor allem auf die entsprechenden Nutzer zurückzuführen.
Zur Software:
Auf beiden Serveren läuft TrueNas Scale electric eal. Außerdem hängt an dem MC 12 noch eine weitere SSD mit nativen Windows und Linux Versionen die bei Bedarf direkt gebootet werden können.
TrueNas Scale ist cool aber kein Proxmox. Die Virtualisierungs features und vor allem Verwaltung lassen zu wünschen übrig. Aber mit ein wenig gefummel kriegt man das meiste zum laufen. Proxmox hatte ich getestet und war mit der Performace von TrueNas als VM nicht happy. Zugriffe waren spürbar langsamer auch die Übertragungen. TrueNas nativ reizt mit den NVMes die 10gbE voll aus. Über Proxmox wird selbst der HDD Pool auf ca.400mb/s eingebremst. Auch das liegt vermutlich an mir selbst. Ich werde da bei Gelegenheit noch einen Versuch starten.
Hoffe da war für dich was wertfolles dabei. Ich war unsicher was relevant für dich ist.
) und im Worst Case das Backup in der Cloud.
