derfreak
Commander
- Registriert
- Nov. 2006
- Beiträge
- 2.335
Einen wunderschönen Sonntag wünsche ich euch !
Ich plane aktuell ein Update meines Homelabs.
Gerade besteht das aus drei Rechnern:
Rechner 1 - NAS mit TrueNAS Scale:
Gehäuse von UNAS mit einem Supermicro X10SDV-2c-7TP4F und 48GB DDR4 RDIMM ECC.
Vier Seagate Exos Platten mit je 20TB und ich glaube zwei 1TB SATA SSDs - müsste nachsehen welche das genau sind, haben aufjedenfall Kondensatoren für unerwartete Spannungsabfälle drin.
Hab das 2017 gekauft, ehrlich gesagt ziemlich tolles Board aber ich habe mittlerweile Probleme das Teil via IPMI remote zu starten.
Das FlexATX Netzteil nervt mich ziemlich weil die Lautstärke fürs Büro zu hoch ist, leise Alternativen mit diesem Form Faktor sind rar gesäht.
Rechner 2 - Proxmox mit zwei VMs (Docker, Plex):
Einfacher Server mit Ryzen 5600G, Nvidia 1660, 32GB DDR4, 10 Gig NIC und zwei sata ssd im zfs mirror - da läuft proxmox drauf mit zwei vms.
Eine VM für PLEX, eine VM für Docker Container - ist historisch gewachsen, kann eigentlich auch mal eine einzige VM sein.
Rechner 3 - Raspberry Pi mit Homeassistant
Ich verzichte bewusst auf HDD Standbye und habe mit Homeassistant eine Automatik eingerichtet die die beiden Server jeden Abend runter und jeden morgen hochfährt. So spare ich Strom, belaste meine HDDs aber nicht unnötig.
Das hat jetzt ein ganzes Jahr problemlos funktioniert und dann vor acht Wochen plötzlich nichtmehr.
Konkret fahre ich das NAS mittels der IPMI Schnittstelle hoch und mit SSH herunter.
Gleichzeitig ging der Rechner aber auch über den normalen Power Knopf am Gehäuse nichtmehr an.
Ich hatte mir dann alles angesehen, anderes Netzteil probiert etc pp - irgendwann ging es einfach wieder, auch IPMI.
Das lief dann wieder knapp sieben Wochen rund und seit einer Woche wieder nicht, es lässt sich mit dem Power Knopf aber völlig problemlos anschalten.
Bin etwas ratlos und habe dann entschieden dass es das Beste wäre wenn ich beide Rechner durch einen neueren ersetze.
Das Setup wird insgesamt wieder weniger komplex, ein einziger Rechner lässt sich einfacher maintainen und die Autostartlogik
in Homeassitant wird auch einfacher. Mit etwas Glück braucht der neue Rechner auch weniger Strom im idle.
Und, klar: ich will mal wieder basteln
Bei den Preisen die mittlerweile bei Gaming PCs vorherrscht baue ich praktisch keine Rechner mehr für Freunde und Bekannte zusammen und ich vermisse das ehrlich gesagt.
Kleine Notiz am Rande, ich hatte auch überlegt ob ich vorhandene Hardware weiternutzen könnte, immerhin ist der 5600G im zweiten Server recht flott. Allerdings unterstützt der kein ECC und kommt daher nicht für TrueNAS in Frage.
Jetzt endlich zum aktuellen Plan für das neue Setup - hier wäre ich um Meinungen sehr dankbar
Als Hypervisor würde ich gerne Proxmox einsetzen.
Fürs erste hätte ich da zwei virtuelle Maschinen erstellt:
Die Debian VM wäre für die ganzen Container zuständig, ich will das nicht auf TrueNAS machen da ich eine recht stabile und umfangreiche Docker compose config habe die ich mit git verwalte.
In dieser VM würde Plex installiert sein und bräuchte so exklusiven Zugriff auf die Nvidia 1660 via pcie passthrough.
TrueNAS in einer VM führt zur nächsten Anforderung: Ich brauche definitiv einen Host Bus Adapter (irgendeine lsi karte)
die ich dann mittels pcie passthrough durchreichen kann.
Und zu guter letzt soll der Server 10Gig bekommen da die Hardware dazu schon da ist.
Das bedeutet dass die Plattform drei Erweiterungskarten unterstützen muss und dementsprechend mindestens drei PCIe Slots braucht.
Ich will außerdem zwei m.2 nvme ssds einsetzen.
Also kurz zusammengefasst:
Hier bin ich bei meinen Recherchen recht schnell auf Probleme gestoßen: Desktop Hardware hat einfach nicht genug Lanes !
Da ich auf der anderen Seite aber auch kein Vermögen ausgeben will habe ich mich schlau gemacht und etwas gefunden dass meinen Anforderungen entsprechen müsste.
Die Grafikkarte wird lediglich zum transcoding benötigt, braucht also wahrscheinlich nicht die vollen 16 Lanes, daher ist es in Ordnung wenn hier Abstriche gemacht werden müssen.
Die 10 Gig Karte sollte wenn möglich mit voller Geschwindigkeit angebunden sein, dicht gefolgt von der HBA Karte.
Bei der HBA Karte muss man allerdings sagen dass ich wahrscheinlich nur vier SATA HDDs anschließen werde und hier auch vier Lanes reichen würden.
Wegen diesen Überlegungen habe ich den AM4 Sockel leider ausschließen müssen, hier gibt es, jedenfalls nach meinem Kentnisstand kein Mainboard dass die benötigten Lanes an den richtigen Ports anbieten kann.
Daher hier meine aktuelle Zusammenstellung auf Basis von AM5
https://geizhals.de/wishlists/3271533
Das Mainboard kann auf den drei mechanischen PCIe x16 Slots die Konfiguration x8/x8+x4+x4
Ich könnte hier also meine drei Erweiterungskarten ohne große Leistungseinbußen betreiben.
Würde mich über Anregungen freuen
Grüße und einen schönen Sonntag
derfreak
Ich plane aktuell ein Update meines Homelabs.
Gerade besteht das aus drei Rechnern:
Rechner 1 - NAS mit TrueNAS Scale:
Gehäuse von UNAS mit einem Supermicro X10SDV-2c-7TP4F und 48GB DDR4 RDIMM ECC.
Vier Seagate Exos Platten mit je 20TB und ich glaube zwei 1TB SATA SSDs - müsste nachsehen welche das genau sind, haben aufjedenfall Kondensatoren für unerwartete Spannungsabfälle drin.
Hab das 2017 gekauft, ehrlich gesagt ziemlich tolles Board aber ich habe mittlerweile Probleme das Teil via IPMI remote zu starten.
Das FlexATX Netzteil nervt mich ziemlich weil die Lautstärke fürs Büro zu hoch ist, leise Alternativen mit diesem Form Faktor sind rar gesäht.
Rechner 2 - Proxmox mit zwei VMs (Docker, Plex):
Einfacher Server mit Ryzen 5600G, Nvidia 1660, 32GB DDR4, 10 Gig NIC und zwei sata ssd im zfs mirror - da läuft proxmox drauf mit zwei vms.
Eine VM für PLEX, eine VM für Docker Container - ist historisch gewachsen, kann eigentlich auch mal eine einzige VM sein.
Rechner 3 - Raspberry Pi mit Homeassistant
Ich verzichte bewusst auf HDD Standbye und habe mit Homeassistant eine Automatik eingerichtet die die beiden Server jeden Abend runter und jeden morgen hochfährt. So spare ich Strom, belaste meine HDDs aber nicht unnötig.
Das hat jetzt ein ganzes Jahr problemlos funktioniert und dann vor acht Wochen plötzlich nichtmehr.
Konkret fahre ich das NAS mittels der IPMI Schnittstelle hoch und mit SSH herunter.
Gleichzeitig ging der Rechner aber auch über den normalen Power Knopf am Gehäuse nichtmehr an.
Ich hatte mir dann alles angesehen, anderes Netzteil probiert etc pp - irgendwann ging es einfach wieder, auch IPMI.
Das lief dann wieder knapp sieben Wochen rund und seit einer Woche wieder nicht, es lässt sich mit dem Power Knopf aber völlig problemlos anschalten.
Bin etwas ratlos und habe dann entschieden dass es das Beste wäre wenn ich beide Rechner durch einen neueren ersetze.
Das Setup wird insgesamt wieder weniger komplex, ein einziger Rechner lässt sich einfacher maintainen und die Autostartlogik
in Homeassitant wird auch einfacher. Mit etwas Glück braucht der neue Rechner auch weniger Strom im idle.
Und, klar: ich will mal wieder basteln
Bei den Preisen die mittlerweile bei Gaming PCs vorherrscht baue ich praktisch keine Rechner mehr für Freunde und Bekannte zusammen und ich vermisse das ehrlich gesagt.
Kleine Notiz am Rande, ich hatte auch überlegt ob ich vorhandene Hardware weiternutzen könnte, immerhin ist der 5600G im zweiten Server recht flott. Allerdings unterstützt der kein ECC und kommt daher nicht für TrueNAS in Frage.
Jetzt endlich zum aktuellen Plan für das neue Setup - hier wäre ich um Meinungen sehr dankbar
Als Hypervisor würde ich gerne Proxmox einsetzen.
Fürs erste hätte ich da zwei virtuelle Maschinen erstellt:
- TrueNAS Scale
- Debian
Die Debian VM wäre für die ganzen Container zuständig, ich will das nicht auf TrueNAS machen da ich eine recht stabile und umfangreiche Docker compose config habe die ich mit git verwalte.
In dieser VM würde Plex installiert sein und bräuchte so exklusiven Zugriff auf die Nvidia 1660 via pcie passthrough.
TrueNAS in einer VM führt zur nächsten Anforderung: Ich brauche definitiv einen Host Bus Adapter (irgendeine lsi karte)
die ich dann mittels pcie passthrough durchreichen kann.
Und zu guter letzt soll der Server 10Gig bekommen da die Hardware dazu schon da ist.
Das bedeutet dass die Plattform drei Erweiterungskarten unterstützen muss und dementsprechend mindestens drei PCIe Slots braucht.
Ich will außerdem zwei m.2 nvme ssds einsetzen.
Also kurz zusammengefasst:
- GPU x16
- HBA x8
- 10 Gig NIC x8
- zwei nvme ssds
Hier bin ich bei meinen Recherchen recht schnell auf Probleme gestoßen: Desktop Hardware hat einfach nicht genug Lanes !
Da ich auf der anderen Seite aber auch kein Vermögen ausgeben will habe ich mich schlau gemacht und etwas gefunden dass meinen Anforderungen entsprechen müsste.
Die Grafikkarte wird lediglich zum transcoding benötigt, braucht also wahrscheinlich nicht die vollen 16 Lanes, daher ist es in Ordnung wenn hier Abstriche gemacht werden müssen.
Die 10 Gig Karte sollte wenn möglich mit voller Geschwindigkeit angebunden sein, dicht gefolgt von der HBA Karte.
Bei der HBA Karte muss man allerdings sagen dass ich wahrscheinlich nur vier SATA HDDs anschließen werde und hier auch vier Lanes reichen würden.
Wegen diesen Überlegungen habe ich den AM4 Sockel leider ausschließen müssen, hier gibt es, jedenfalls nach meinem Kentnisstand kein Mainboard dass die benötigten Lanes an den richtigen Ports anbieten kann.
Daher hier meine aktuelle Zusammenstellung auf Basis von AM5
https://geizhals.de/wishlists/3271533
Das Mainboard kann auf den drei mechanischen PCIe x16 Slots die Konfiguration x8/x8+x4+x4
Ich könnte hier also meine drei Erweiterungskarten ohne große Leistungseinbußen betreiben.
Würde mich über Anregungen freuen
Grüße und einen schönen Sonntag
derfreak
