NAS+Homeserver in neuen Homeserver "vereinen"

[Iv0ry]

Hi Leute, ich nutze aktuell zu Hause ein "NAS" und einen Home-Server für verschiedene Aufgaben:

NAS: HP MicroSvr Gen8 mit einem Intel Celeron G1610T und 8 GB RAM sowie 4 x 4 TB WD-RED@TrueNAS Core)

Home-Server (+2 x 4 TB WD RED): @ProxMoX



Der Homeserver läuft nur sporadisch, wenn ich eine der VMs benötige, das NAS läuft ebenfalls nicht 24/7, sondern ebenfalls nur, wenn es benötigt wird (wird gestartet, wenn bestimmte Geräte im Netzwerk starten und checkt ab 22 Uhr ob eines der bestimmten Geräte noch aktiv ist, wenn nicht, fährt es runter).

Ich würde nun gern beide Systeme "vereinen" und dabei wenn möglich im Idle-Betrieb recht stromsparend sein, bei Bedarf aber auch genug Power mitbringen, um 2-3 VMs befeuern zu können.

Aktuell steht für mich nur das Gehäuse fest. Ich möchte gern eine "Jonsbo N3" verwenden. Das "n2" würde auch reichen, ich brauche jedem in meinem Home-Server eine Grafikkarte, die ~2 Slots benötigt (vermutlich etwas wie eine RTX 3060). Wie viele der aktuelle 6 HDD's ich mitnehmen bin ich noch unschlüssig.

Ich bin indessen, was CPU/MoBo angeht unschlüssig auf was ich setzten soll. Eigentlich würde ich ein Intel-System bevorzugen, wäre notfalls aber auch mit AMD zufrieden, wenn es passt. Ich hatte viel Positives über die N100-Boards gelesen, vermute aber, dass die Leistung da nicht ausreicht. Ich wollte dann wieder ProxMox installieren und brauche vier VM's + Reserve/Spielerei.

1) TrueNAS-Scale
2) Ubuntu-VM (wo die GPU durchgereicht wird) für KI-Development (läuft derzeit noch via WSL auf meinem Computer).
3) GameServer: DCS, was ebenfalls die GPU benötigt.
4) Backup vom TrueNAS (kann vermutlich mit in die Ubuntu-VM).


Das Mainboard (ITX!) muss ja folgendes mitbringen:

• 2,5 Gbit/s LAN.
• 2 x M2 (1 für NVME+ 1 für diesen Adapter von m2 auf 6x SATA).
• 32-64 GB RAM, ob wieder ECC bin ich unschlüssig.
• 4 Core CPU mit 8 Threads (oder mehr).

Was würdet Ihr empfehlen, was möglichst günstig ist (Anschaffung + Idle-Power), aber auch genug Power mitbringt für ein paar VM's?


Gruß
Iv0ry

 

[SirKhan]

Für maximale Leistung würde ich diese beiden hier ansehen:

• https://store.minisforum.de/products/ar900i
• https://store.minisforum.de/products/bd

Edit: Haben beide DDR5, also zumindest on-Die ECC. Können beide bis zu 64 GB RAM.

 

[Quanar]

Beim N100 ist bei 32 GB Schluss. Die ASRock oder Asus N100er sind sparsam und ausreichend. Habe selbst nen Mini PC auf der N100 Basis, es läft ein Proxmox VE und 5 VMs u.a. Windows Server 2022, TNScale, und kleine Linux Server, alles kein Problem. SATA Durchsatz ist lt. Server The Home usw. auch kein Problem. Wenn du ECC oder Mehr RAM willst, dann musst du bei Server Mainboards schauen.

 

[Dig.Minimalist]

ITX, günstig, 2.5GBit, (ECC), 64GB RAM - schwierig bis unmöglich.

Ich würde dir ECC empfehlen, da ZFS nativ von Proxmox & TNS unterstützt…

Als NIC etwas mit Intel 226
N100 fällt raus (max 48GB RAM, kein ECC)

C246 mit i3 9100 hat nur 4c/4t und die Xeon CPUs sind teuer.
Alternative: gebrauchte Xeon-D

Falls du bei non ECC und ITX bleibst:
Alder lake CPU mit B760 Mainboard (da ist 2.5Gbit häufiger anzutreffen).

Wenn stromsparend: versuche die Anzahl der HDDs zu reduzieren, oder schicke sie in den spindown (VMs auf separater SSD).

Wenn Micro-ATX: Gigabyte MC12-LE0 (gibt einen langen Thread bei HWLUXX)

 

[Anonymous209]

halt ein schönes und günstiges intel 1700 system

 

[Banned]

Ich finde dein aktuelles Konzept eigentlich gut und würde daran gar nichts ändern. Bis du die Mehrausgaben mal mit dem gesparten Strom drinnen hast, wird auch einige Zeit ins Land gehen, wenn die Teile eh nicht 24/7 laufen.
Aber wenn du basteln willst, kann ich das nachvollziehen.

• 1 für diesen Adapter von m2 auf 6x SATA).

Sowas bitte unbedingt sein lassen, wenn du RAID verwenden willst.

Wenn Micro-ATX: Gigabyte MC12-LE0 (gibt einen langen Thread bei HWLUXX)

Da schließe ich mich an.

Dazu dann z.B. sowas: https://geizhals.de/amd-ryzen-5-pro-4650g-100-100000143mpk-a2336716.html

Die sind recht stromsparend.

Ergänzung (9. April 2024)

ITX, günstig, 2.5GBit, (ECC), 64GB RAM - schwierig bis unmöglich.

Äh, nö!

https://geizhals.de/wishlists/3405091

RAM:
https://geizhals.de/kingston-server-premier-dimm-32gb-ksm32ed8-32hc-a2679022.html?hloc=at&hloc=de

 

[Donnidonis]

Sowas bitte unbedingt sein lassen, wenn du RAID verwenden willst.

Wieso sollte man die nicht nutzen? Im Endeffekt sind doch alle SATA Chips über PCIe angebunden, außer die wenigen Ports, die vom Chipsatz kommen. Was spricht also gegen diese Boards?

 

[Banned]

@Donnidonis

Diese Adapter (besonders so ein China-Rotz wie m.2 auf x SATA-Ports) betreiben bei so vielen Ports massiv Lane-Sharing (und die Controller sind auch oft nicht das Gelbe vom Ei, was auch ein Grund für Lane-Sharing ist). RAID hat einen hohen I/O und Durchsatz parallel über die Laufwerke - von so einem Adapter ist hier deshalb unbedingt abzuraten.
Bei allem über vier Ports (manche sagen über zwei) ist ein HBA angebracht, wenn RAID.

https://www.truenas.com/community/r...t-multipliers-and-cheap-sata-controllers.177/

 

[Donnidonis]

Man muss sich halt etwas einlesen, was der Chip drauf her gibt. Wenn er nur 4 native Ports hat, klar werden die anderen dann per Extender über einen einzelnen Port erweitert. Viele der Boards haben genau beschrieben, welcher Chipsatz drauf ist. Daher die Teile generell zu verteufeln, halte ich für falsch. Kenne einige, die die Teile seit langem im Einsatz haben, 0 Probleme.
Klar, ein HBA ist nett, aber im Endeffekt auch nur ein PCIe auf SATA mit anderem Chipsatz. Noch dazu nimmt er bei Mini-ITX den einzige x16 Slot weg.

 

[Banned]

Will ich gar nicht bestreiten, dass es u.U. auch vernünftige Adapter für viele Ports gibt (diese müssen dann aber eben auch ne vernünftige Anbindung haben und nen guten Controller), ergo: Muss man erst mal finden und identifizieren können.

Aber wenn ich halt m.2 auf 6x SATA lese (und diese Adapter kosten dann so meist 20€ rum und kommen direkt oder indirekt von Aliexpress etc.), dann klingeln bei alle Alarmglocken.

 

[Piktogramm]

Der N100 lohnt nicht, wenn du eh einen Quadcore Haswell hast:
https://browser.geekbench.com/v6/cpu/compare/5651409?baseline=5619887
Die GraceMont Architektur ist Imho durchwachsen. Für das aller Meiste taugen die Dinger, als Basis für komplexe Programme und/oder VM-Host aber nicht. Im Vergleich zu modernen Alternativen mangelt es schlicht an Cache und vor allem einem µOpCache. Ganz davon abgesehen, dass die Dinger von ihren TDP-Limits beschränkt werden. Geekbench ist kurz und mit Pausen, sodass der N100 da gut ausschaut, weil PowerLimit1 relevant ist (15W), bei längerer Last (dein KI-Zeug) aber PL2 bzw. das TDP-Limit mit 6W zuschlägt.

Weiterhin stehst du dir meiner Meinung nach mit Mini-ITX im Weg bzw. treibst den Preis hoch.


Was bleibt ist Imho einer der beiden AM4 Bretter und da ein 4000G PRO bzw. 5000G PRO [1] drauf zu werfen. Dann hast du ECC-Fähigkeit (ohne Log im Uefi, aber wenigstens Fehlererkennung, sodass es im syslog landet). Eine halbwegs potente CPU und tendenziell Leerlauf von ~20W bei stehenden HDDs (und je nach verwendeter Linuxdistribution noch etwas Gefummel bei den Energiesparoptionen)

https://geizhals.de/?cat=mbam4&v=e&...7E4400_Mini-ITX%7E494_ECC-RAM+Unterst%FCtzung

ECC in Mini ITX mit Intel wird deutlich teurer, AM5 ebenso. Die Mehrleistung etwaiger CPUs rechtfertigt den Preissprung nicht.


[1] Wenn du eine GPU stecken hast, würde auch ein 5000er Ryzen ohne G und Pro gehen und ECC-Speicher wäre dennoch möglich. Da wären größere CPU-Konfiguration möglich (mehr als 8Kerne), für 5..10W mehr Leerlaufverbrauch.


Edit: Zur Controllerdiskussion: Die billigen Marvel und JMicro Controller können ätzend sein, Asmedia funtkioniert meistens, selbst mir aggressiven Energiespareinstellungen. Bei einer Anbindung mit 2x PCIe3 sind 4 Sata Ports in etwa mit 330MB/s angeschlossen. Für HDDs reicht das in den meisten Wetterlagen aus. Einen etwaigen Sata SSD-Cache würde ich jedoch dann an die Sata-Ports vom Mainboard hängen.


Edit2: Wenn kein ECC gebraucht wird, wird es simpler/günstiger. Dann solltest du aber einplanen mindestens bei Inbetriebnahme einen kompletten Tag lang memtest laufen zu lassen.

 

[Donnidonis]

ergo: Muss man erst mal finden und identifizieren können.

Also eine Amazon suche nach: m2 sata wirft sofort ein Produkt mit ASM1166 Chip raus, der hat PCIe Gen 3 mit 2 Lanes, und unterstützt nativ 6 SATA Ports. Das zu suchen, dauert keine 5 Sekunden. Da wird sogar mit dem Chipsatz geworben. Also noch einfacher können sie es einem ja nicht machen.

 

[Banned]

Also noch einfacher können sie es einem ja nicht machen.

Einfach war es auch, herauszufinden, dass das Teil kaskadierend Port Multiplier nutzt:

und deshalb aus meiner Sicht für RAID nicht empfehlenswert ist.

Kriegt man bei Aliexpress für knapp 17€ (inkl. sechs bestimmt sehr hochwertiger SATA-Kabel und nem Schraubenzieher):

https://de.aliexpress.com/item/1005005732198321.html?spm=a2g0o.productlist.main.3.5f34joDqjoDqkH&algo_pvid=1eed6ba0-6020-4059-935e-14298f48c9ed&algo_exp_id=1eed6ba0-6020-4059-935e-14298f48c9ed-1&pdp_npi=4@dis!EUR!16.83!16.83!!!129.36!129.36!@211b801817126726670298970e8b06!12000034147704203!sea!DE!0!AB&curPageLogUid=ooGhnQmdCTy6&utparam-url=scene:search|query_from:

You get what you pay for.

PS: Also Port Multiplier bei wenigen Ports finde ich jetzt auch nicht so schlimm. Aber kaskadierend, das würde ich eher sein lassen wollen (da der Controller-Chip jetzt ja auch nicht gerade ein Premium-Modell ist).

 

[HerrRossi]

Es gibt doch immer noch genügend MBs mit 6 SATA-Ports.
AM4: https://geizhals.de/?cat=mbam4&xf=1244_6
AM5: https://geizhals.de/?cat=mbam5&xf=1244_6
So1700: https://geizhals.de/?cat=mbp4_1700&xf=1244_6

Ja, das sind keine ITX MBs. Ich verstehe aber auch ehrlich gesagt nicht, warum ein Server so winzig sein muss, da sollte man auch die Hitzeentwicklung beachten, wenn das Teil mal richtig gefordert wird. ZB. ein Node 804 ist ja jetzt auch kein so riesiger Klopper.

 

[Piktogramm]

@Banned
Also wenn man die Datenblätter von PCIe Karten mit dem ASM1166 liest, dann sind nicht die Ports vom Controller kaskadiert, sondern jeder Port unterstützt bis zu fünf kaskadierte Laufwerke.
Edit: Bis zu fünf kaskadierte Port Multiplier scheinen möglich. Was deutlich mehr als fünf Laufwerke erlaubt. Ich würde es aber nicht probieren

pikto@localhorst:/sys/block$ ll | grep 0000:01:00.0
lrwxrwxrwx 1 root root 0 Apr 3 19:25 sda -> ../devices/pci0000:00/0000:00:01.1/0000:01:00.0/ata1/host0/target0:0:0/0:0:0:0/block/sda/
lrwxrwxrwx 1 root root 0 Apr 3 19:25 sdb -> ../devices/pci0000:00/0000:00:01.1/0000:01:00.0/ata2/host1/target1:0:0/1:0:0:0/block/sdb/
lrwxrwxrwx 1 root root 0 Apr 3 19:25 sdc -> ../devices/pci0000:00/0000:00:01.1/0000:01:00.0/ata3/host2/target2:0:0/2:0:0:0/block/sdc/
lrwxrwxrwx 1 root root 0 Apr 3 19:25 sdd -> ../devices/pci0000:00/0000:00:01.1/0000:01:00.0/ata4/host3/target3:0:0/3:0:0:0/block/sdd/
lrwxrwxrwx 1 root root 0 Apr 3 19:25 sde -> ../devices/pci0000:00/0000:00:01.1/0000:01:00.0/ata5/host4/target4:0:0/4:0:0:0/block/sde/
lrwxrwxrwx 1 root root 0 Apr 3 19:25 sdf -> ../devices/pci0000:00/0000:00:01.1/0000:01:00.0/ata6/host5/target5:0:0/5:0:0:0/block/sdf/

Edit2: 0000:01:00.0 ist der gesteckte ASM1166, wird nur für die Übersichtlichkeit gefiltert

Für mich schaut das schon so aus, als wäre der Kernel der Meinung, dass das 6 dedizierte Ports sind.

 

[Banned]

sondern jeder Port unterstützt bis zu fünf kaskadierte Laufwerke.

Was wären denn "kaskadierte Laufwerke"?

Also in der Beschreibung von der Webseite steht doch explizit, dass die Port Multipliers kaskadiert sind. Mein Verständnis davon ist, dass hinter einem PM ein weiterer folgen kann bzw. dies in für einige Ports so ist, um insgesamt auf sechs zu kommen.

https://de.wikipedia.org/wiki/Kaskadierung

Ergänzung (10. April 2024)

Für mich schaut das schon so aus, als wäre der Kernel der Meinung, dass das 6 dedizierte Ports sind.

Naja, der Kernel kann doch auch nur damit arbeiten, was der Controller vom Adapter ihm meldet. Was der Controller wirklich macht, steht auf einem anderen Blatt.

 

[Piktogramm]

@Banned
Zitierst du ernsthaft etwas und stellst ne Frage dazu, wo das korrigierende Edit genau eine Zeile unter dem Zitierten steht?
In Post #13 schreibst du, dass der ASM1166 kaskadierende PMs nutzt, tut er halt nicht. Er unterstützt kaskadierende PMs. Dabei stellt der Chip 6 dedizierte Hostcontroller zur Verfügung, da spricht schlicht nichts gegen eine Basis für ein Softwareraid.

Und einem Betriebssystem sechs Hostcontroller zu melden und dann intern etwas Anderes zu machen wäre extrem merkwürdig. Zum einen geht es gegen die Sata Spec[1], was es etwas schwer macht "Sata" aufs Produkt zu schreiben und zum Anderen wird es vom Protokoll her haarig. Adressierung, Logs und NCQ Queue Management derart umzubiegen erhöht die Komplexität recht fix über die native Implementierung..

[1]Eben weil man an der Stelle den Linklayer großartig verbiegen müsste.

 

[Banned]

In Post #13 schreibst du, dass der ASM1166 kaskadierende PMs nutzt, tut er halt nicht.

Hast du bisher nicht gezeigt.

Er unterstützt kaskadierende PMs.

Genau..., der Chip ist genau für sechs SATA-Ports ausgelegt, in der Beschreibung steht kaskadierende PMs, aber er nutzt diese dann nicht für sechs Ports. Ja nee, alles klar....


Was diese ominösen "kaskadierten Laufwerke" sein sollen, hast du bisher auch nicht beantwortet.

Dabei stellt der Chip 6 dedizierte Hostcontroller zur Verfügung,

Wurde an keiner Stelle bewiesen.

Ich halte es auch für absurd, dass zu diesem Preis sechs dezidierte Hostcontroller vorhanden sein sollen.

Meines Erachtens ist schon die Beschreibung als "dezidierte Hostcontroller" nicht korrekt. Solche Adapter (auch HBAs) habe m.W. nur einen Hostcontroller, welcher aber über mehrere Ports verfügt. Reicht die Anzahl der Controller-Ports nicht aus, um die gewünschte Anzahl an SATA-Ports zu realisieren, kommen Port Multiplier ins Spiel.
https://sata-io.org/developers/sata-ecosystem/port-multipliers

Und einem Betriebssystem sechs Hostcontroller zu melden und dann intern etwas Anderes zu machen wäre extrem merkwürdig.

Überzeugt mich jetzt wenig, aber gut.

Ich würde es ja gerne mal bei so einem Teil testen:
https://www.startech.com/de-de/hdd/st521pmint

da spricht schlicht nichts gegen eine Basis für ein Softwareraid.

Dann viel Spaß.

 

[Piktogramm]

@Banned
Es wird etwas sinnig. An sich behauptest du, dass der ASM1166 intern PMs nutzt. Als "Beleg" führst du eine Produktbeschreibung an, die sich mit von Chinesisch schlecht ins Englische übersetzt erklären lässt. Ich zeige wie sich der Chip beim OS vorstellt. Das reicht dir aber auch nicht, was schwebt dir denn vor als gültiger Beweis um von deinem Bild abzurücken? Treiber/Adressierung scheinen schonmal nicht ausreichend zu sein... Weil es scheint für dich irgendwie simpler ein PM zu bauen, der hart in den LinkLayer eingreift um virtuelle Hosts zu erzeugen, anstatt native Hosts einer alten Schnittstelle zu implementieren

Und nochmal, dass es kaskadierende PMs sind und NICHT HDDs habe ich bereits korrigiert. BEVOR dich daran aufgehangen hast. Ich habe den Fehler nur transparent stehen lassen. Dir scheint aber auch das nicht als Erklärung zu reichen. Weder initital, noch bei der ersten Erklärung -.-.. ahh wieso verschwende ich meine Zeit

 

[Banned]

nahh wieso verschwende ich meine Zeit

Alles gut. Du scheinst auch recht zu haben und der Hostcontroller hat wirklich sechs native Ports.
Ist für mich aus der Beschreibung zunächst nicht so hervorgegangen.

Ob ich so nem günstigen Teil dann beim hohen I/O bei Scrub oder Resilvering mit sechs parallel aktiven Laufwerken vertraue, ist ne andere Geschichte.

Aber wenn's bei dir zufriedenstellend läuft, ist doch gut. Muss am Ende jeder selbst wissen. Ich habe meine Zweifel, die mögen unbegründet sein oder auch nicht.