Home file server auf ESXi-Basis?

[lol18]

Hallo,

ich stehe vor dem Problem, dass ich neben meinem bestehenden Qnap einen zweiten Fileserver brauche mit mind. 8 3,5 HHD slots.

Mein erster Gedanke war ein 2. Qnap, mein zweiter Gedanke war ein File Server auf ESXi-Basis mit 20+ HDD slots, auf welchem ich noch weitere VMs laufen lassen kann, u.a. solche die gerade in einem Intel NUC 11 (1135G7 ) laufen.

Auf dem NUC läuft bereits ein ESXi und hatte mal die file transfer performance mit der vmdk auf der nvme getestet und war damit sehr zufrieden, und würde mal davon ausgehen, dass sich da bei einer HDD, deren typ ich bereits im Qnap verwende, nichts ändern würde, da Netzwerk limitiert.)

- Gehäuse
Ich kenne mich mit Server-Hardware leider absolut nicht aus. Wäre sowas hier als Gehäuse OK? Muss ich da irgendetwas beachten? https://www.alternate.de/SilverStone/SST-RM43-320-RS-Rack-Server-Gehäuse/html/product/1832497

- Netzteil
Passt dafür ein handelsübliches Netzteil, oder besteht die Gefahr, dass irgendwelche Anschlüsse fehlen?
https://www.alternate.de/be-quiet/Pure-Power-11-FM-550W-PC-Netzteil/html/product/1743690

- SATA Controller
Ich würde dann wohl so etwas hier verwenden. Taugen die Dinger etwas?
https://www.amazon.de/MZHOU-Ports-PCIE-Karte-Erweiterungskarte-20SATA-16x/dp/B09K3KWZ54

- CPU
Eine aktuelle Intel CPU mit iGPU (sowas wie der 13600k) und QuickSync wäre auf jeden fall nice to have, bin mir aber nicht sicher, wie gravierend das Stromsparpotenzial bei schwächeren CPUs wäre. Die durchschnittliche Auslastung in dem NUC (1135G7) liegt ca. bei 50% mit Spitzen richtung 100% alle ~10 Minuten.


Wäre für Tipps sehr dankbar!

 

[Fujiyama]

Was hast du den genau vor das so ne hohe Anzahl von HDDs brauchst?
Wie hoch ist den das Budget für das Projekt?
Schon auf dem Gebrauchtmarkt geschaut zwecks Fileserver?

 

[Donnidonis]

Gehäuse würde ich mich mal bei Inter-Tech umsehen.
Ich würde zusätzlich eher auf TrueNas setzen, dort dann die VMs laufen lassen.

Für die SATA Anschlüsse eher einen HBA verwenden mit LSI Chipsatz


Edit:
Zu erst sollten aber erstmal die Rahmenbedingungen aufgelistet werden:
Wie viel Speicher wird benötigt
Was soll gespeichert werden
Wie hoch ist das Budget

 

[kamanu]

Würde mir wohl auch TrueNAS Scale in Sachen Software anschauen.

 

[Masamune2]

In das Gehäuse passen normale ATX Netzteile, du solltest nur darauf achten, dass die genug Power für 20 Festplatten liefern. Gleichzeitiges anfahren aller Platten sollte vermieden werden, in der Regel kann aber jeder Raid Controller ein staggered drive spinup.
Wenn du ESX nutzen willst brauchst du entweder zwingend einen Hardware Raid Controller oder du musst den Controller als ganzes an eine VM weiterreichen die dann Software Raid macht. Software Raid direkt auf dem ESX geht nicht. Ob der verlinkte Controller unterstützt wird kann ich dir nicht sagen, habe den Hersteller noch nie gehört. Vielleicht weiß sonst jemand was dazu.

Stromsparen kannst du hauptsächlich durch herunterfahren der Platten wenn sie nicht benötigt werden, die CPUs brauchen im Idle nicht viel Strom.

 

[lol18]

Wie hoch ist den das Budget für das Projekt?

Es soll eigentlich weniger kosten als 1700€ (ohne Festplatten natürlich), auch wenn das kein hard limit ist.

Schon auf dem Gebrauchtmarkt geschaut zwecks Fileserver?

Nein, mein Vertrauen in Gebrauchtmärkte ist nicht sehr groß, auch wenn ich selber keine negativen Erfahrungen gemacht habe. Die HDDs würde ich in jedem Fall selber anschaffen. Wo sollte ich da schauen? Sowas wie https://www.servershop24.de ?

Gehäuse würde ich mich mal bei Inter-Tech umsehen. [...]
Für die SATA Anschlüsse eher einen HBA verwenden mit LSI Chipsatz

Danke, werde ich mich mal schlau machen..

In das Gehäuse passen normale ATX Netzteile

War mir halt nur nicht sicher, ob so ein Gehäuse iregndwelche speziellen Anschlüsse/Adapter verlangt, die "normale" Netzteile nicht mitbringen.

 

[Tamron]

Wenn du ESX nutzen willst brauchst du entweder zwingend einen Hardware Raid Controller oder du musst den Controller als ganzes an eine VM weiterreichen die dann Software Raid macht. Software Raid direkt auf dem ESX geht nicht. Ob der verlinkte Controller unterstützt wird kann ich dir nicht sagen, habe den Hersteller noch nie gehört. Vielleicht weiß sonst jemand was dazu.

Das wird mit dem Ding Tausendprozentig nicht gehen

Schau in die VMware Kompatibilitätsliste rein. Alles andere wird wahrscheinlich nicht funktionieren

 

[DFFVB]

Hast Du Dir mmal Gedanken über das Mainboard gemacht? Bei ESXI hatte ich wo gelesen, dass nicht sicher ist, wie lange das noch für HeimUser praktisch bleibt, weil immer mehr Restriktionen kommen...

Denk auch an die StromRechnung... Würde wohl auf einen QuadCore i3 setzen, wenn ich Du wäre...

 

[Loopman]

Zur Info, die HDD-Schächte sind in solchen Gehäusen meistens an eine Backplane angebunden, die dann mit SAS-Controllern gefüttert werden wollen.
Hier solltest du dich vorher aber wirklich genau informieren, ob die Treiber usw. dafür auch alle in der von dir eingesetzten Software funktionieren, bzw. verfügbar sind.

Ich persönlich, und ich habe 2 Home-Server mit 160TB Storage (1x Live, 1x Backup), würde dazu raten: nimm normale Big-Tower und pack da entsprechende normale SATA Controller rein.
Ob der von dir verlinkte was taugt, kann ich nicht sagen, ich würde hier aber auf halbwegs bekannte Marken setzen. Günstig und gut sind (bzw. waren, bin aktuell nicht mehr ganz auf dem Laufenden) zB die von HighPoint Tech (RocketRaid).

 

[aronlad]

Würde mir wohl auch TrueNAS Scale in Sachen Software anschauen.

Besser mal bei Proxmox schauen!

 

[Timmynator]

nimm normale Big-Tower und pack da entsprechende normale SATA Controller rein.[.,..]

Ich weiß nicht, wofür es die 20 HDDs benötigt, dafür würde man wohl auch eher ein Rackmount-Gehäuse mit 2,5" Platten nehmen. Selbst ein Chieftec CA-01SL bekommt ohne weitere Zubauten (5,25" auf 3,5" "HDD-Adapter") nur 10 3,5" Platten rein.

Gegenvorschlag mit kleinerem (aber baulich bedingt etwas breiterem) Fußabdruck als ein Big-Tower: Fractal Node 804 - Zweikammer-System, bis zu 8x3,5" in einer Kammer, 2x3,5" oder 2x2,5" in der anderen sowie zwei zusätzliche 2,5" Slots (realistisch wohl nur SSDs) in der vorderen Abdeckung.
Nicht ganz günstig und etwas Fummelei mit den Kabeln an den hinteren Platten, weil die direkt über dem Netzteil hängen (ein Hoch auf gewinkelte SATA- und PWR-Stecker), dafür aber durchaus platzökonomisch und Support für längere Grafikkarten (iirc 320mm) sowie 5 mögliche PCI-Slots in der Höhe: Graka, HBA, etc...

Besser mal bei Proxmox schauen!

Durchaus einen Blick wert. NAS-Software a la openmediavault tut's auch als VM, sogar die physischen Platten kann man an die VM durchreichen. Grafikkarten übrigens auch

 

[Chris_S04]

@Timmynator
Nur die Platten physikalisch durchreichen an die VM während der Controller noch im Host hängt, kann zu lustigen Nebeneffekten führen, gerade falls man als FS ZFS verwenden will. Am besten immer den ganzen Controller an die VM durchreichen.

B2T:
Zu TrueNAS kann ich nicht viel sagen, keine Erfahrung. Wäre aber vermutlich interessant, sofern der Fileserver quasi das "Hauptszenario" darstellt.
ESX oder Proxmox sind beide gut, sofern man eben die SATA-Controller durchreichen kann.
Da wäre noch die Frage ob du von ESX die freie Version verwendest oder eine Lizenz hast. Wie sieht es dann mit Backups aus? Bei VmWare für 200€ im Jahr Vmug Advanced und dann kannst du auch Veeam Community Edition verwenden oder eben Proxmox mit dem Proxmox Backup Server verwenden.

Bei der Hardware wäre noch die Frage was für Anforderungen du hast. Wie viele VMs? Welche Lastszenarien? Wie viele Zugriffe im Peak etwa, etc?

 

[lol18]

Gegenvorschlag mit kleinerem (aber baulich bedingt etwas breiterem) Fußabdruck als ein Big-Tower: Fractal Node 804 - Zweikammer-System, bis zu 8x3,5" in einer Kammer, 2x3,5"

Danke für den Vorschlag. Big Tower geht nicht, weil der Standadort vertikal limitiert ist.. und 10 drives wären 2 mehr als mein Qnap hat, das würde den Mehraufwand für mich nicht rechtfertigen, selbst als ESXi host..

Bei der Hardware wäre noch die Frage was für Anforderungen du hast. Wie viele VMs? Welche Lastszenarien? Wie viele Zugriffe im Peak etwa, etc?

Wie geschrieben ist mein NUC aktuell zu ~50% ausgelastet, es gibt nicht viele gleichzeitigen Zugriffe, das heißt das Anforderungsminimum ist schon sehr niedrig, aber alles darüber ist halt sehr nice to have. Ich hoste aktuell eine development VM auf meinem 13900ks Desktop, diese auszulagern wäre interessant, aber kein Muss (und ziemlich sicher zu teuer)

 

[Engelsen]

Besser mal bei Proxmox schauen!

Unbedingt Proxmox anschauen, da ESXI mit ConsumerHardware doch gar nicht mehr korrekt läuft oder?
Die blocken meines Wissens doch nun alles was Realtek etc.-basierend ist ....

 

[KillerCow]

in der Regel kann aber jeder Raid Controller ein staggered drive spinup.

Wenn die Platten via Backplane am Controller hängen, kann die Backplane einem auch den Spaß mit staggered-spinup verderben. Bei meinem intertech ist das zumindest so (schon nen älteres Modell). Keine Chance mit staggered-spinup mit WD-Reds am SAS-Controller via Backplane. Direkt angeschlossen klappt es wunderbar... das nur so am Rand dazu.

Ergänzung (22. März 2023)

Die blocken meines Wissens doch nun alles was Realtek etc.-basierend ist ....

Die liefern einfach keine Treiber bzw. nur eine "kleine" Auswahl an Treibern. Ich würde aber auch eher zu Proxmox VE greifen, wenn ansonsten nur noch VMWare zur Auswahl steht. Für Fileserver ist aber ein natives TrueNAS die wahrscheinlich bessere Wahl.

 

[lol18]

Nochmal zum Thema Gebrauchtmarkt.. angenommen ich würde so etwas hier kaufen

https://www.servershop24.de/dell-emc-r730xd-rack-server/a-127243

(random Beispiel), dann ist ja die ESXi Kompatibilität schon im Vorfeld gewährleistet? Würde gebrauchter Server am Ende doch mehr Sinn machen? Das Ding soll jetzt nicht im Schlafzimmer stehen, also klar dass es etwas Lärm macht, aber es sollte nicht viel lauter als mein Qnap sein (das ding macht genug Lärm, aber darf es auch, steht in einem Zimmer abseits..) ist so ein Teil viel lauter?

 

[DFFVB]

Deutlich lauter... und vom Stromverbrauch ganz zu schweigen ----

 

[Masamune2]

Ja bei diesen Systemen kannst du davon ausgehen das sie mit ESX laufen. Im Zweifel kurz auf die VMware Kompatibilitätsliste schauen aber die Systeme der großen OEM stehen da alles drauf.

 

[Tamron]

Und ob du da deine Festplatten reinpacken kannst ist auch ungewiss.
Bspw. sperrt HPE seit paar Jahren schon Dritthersteller Festplatten. Da kannst du nur HPE gebrandete HDDs reinpacken.

 

[HerrRossi]

Wäre für Tipps sehr dankbar!

Ohne zu wissen, was du vorhast und warum du so viele Platten brauchst, ist das sehr schwierig. Und warum muss der File Server Dienst virtualisiert werden?