Zentraler Speicher mit Extras - NAS oder Server für meine Anforderungen?

[Rick7]

Bin gerade in VM's mal die OS's am testen. Habe jetzt mal OMV und FreeNAS etwas genauer getestet und musste mit erschrecken feststelle, dass OMV eine viele besser Download- und Upload-Rate hat.

Hier mal die Daten:

VM1
OS: OMV
RAM: 1 GB
HDD1: 60 GB
HDD2: 40 GB
Netzwerk-Adapter: NAT
Upload-Rate: ~ 50 MB/s
Download-Rate: ~ 110 MB/s

VM2
OS: FreeNAS
RAM: 1 GB
HDD1: 40 GB
HDD2: 40 GB
Netzwerk-Adapter: NAT
Upload-Rate: ~ 25 MB/s
Download-Rate: ~ 50 MB/s

Die liegen beide auf der selben internen Platte und haben beide die gleiche Config (habe sie ja quasi direkt nach einander neu angelegt). Zugegriffen wird über eine Netzwerk-Freigabe und dann auf eine andere Platte kopiert. Wie können da denn so große Differenzen aufkommen?

Ergänzung (17. April 2014)

Ups, gerade erst gesehen. Hmm... OK, ich überleg mir das bis heute Nacht noch mal.

 

[Bagbag]

Achja, und dann gibt es da noch http://www.nas4free.org/.

 

[CvH]

Habe jetzt mal OMV und FreeNAS etwas genauer getestet und musste mit erschrecken feststelle, dass OMV eine viele besser Download- und Upload-Rate hat.

Bei mir war es FreeNAS ca 20-30mb/s langsamer als mit OMV ...
Bei OMV bekomme ich in etwa die vorhandene Geschwindigkeit auch durch das LAN, bei FreeNAS nicht. Das nächste Problem ist bei FreeNAS die Erweiterbarkeit, Debian ist de facto Standard, FreeBSD nun nicht unbedingt.
Das fängt bei Tutorials an die entweder auf Debian/Ubuntu geschrieben sind, das geht bei den Packages weiter. Der Entwickler von FreeNAS weiß schon warum er dort aufgehört hat und dann OMV entwickelt hat !

Bzw die SSD hat im NAS hauptsächlich Vorteile wegen der Geräuschkulisse und bisschen weniger Verbrauch. Eine normale HDD und eine SSD machen vom Preis her mittlerweile ja kaum noch Unterschiede. (Platz ist bei 120gb ja immer noch genug für dls etc)

Bzw die Installationsplatte geht in keinem Raid Verbund etc zu nutzen, da sollte wirklich nur "Sachen" zwischengelagert werden (wie im Falle von Downloads).

Theoretisch brauchst nicht mehr als 1gb RAM im Server, da hast du mehr als genug für alles. Musst du eben selber einschätzen wie viel "Performance" du haben willst und brauchst Mehr RAM, mehr Zwischenspeicher, länger full speed ... mehr Preis (~15-20€ mehr zwischen 4 und 8gb). Ich merk es wenn 2 Leute gleichzeitig darauf zu greifen, da merkt man schon den Puffer. Wie Babag schon sagte bei nur Wlan absolut egal.

 

[Rick7]

Ja ich habe es jetzt auch endlich geschafft SABnzbd auf OMV zum laufen zu bringen. Das Teil ist echt der Hammer Übertrifft sogar noch meine Ansprüche. Beim FreeNAS ist das Teil sogar im "Paket-Manager" dabei, das hatte bei mir aber nie funktioniert. Evtl. gab es aber auch einen Konflikt zwischen den beiden VM's, obwohl beide natürlich eine eigene IP-Adresse hatten. Naja habe FreeNAs jetzt auch aufgrund der Speed-Tests abgehakt und werde bei OMV bleiben. Hab das Script von hier für die Installation genutzt: http://forums.openmediavault.org/viewtopic.php?f=13&t=2038

Hatte es zwar auch schon über die Shell (PuTTY) soweit geschafft, aber irgendwie habe ich die INI zwecks IP-Anpassung nicht finden können. Die ganze Struktur (auf Dateiebene) ist für mich halt noch sehr undursichtig, so war ich froh als ich endlich die 2. Festplatte unter media/fc9570b8-7a12-4185-adfe-0fdba9a2e757 gefunden hatte. Das das meine Festplatte sein soll hätte ich nicht gedacht

Ich glaube ich bin dann für's erste soweit versorgt, werde in meiner VM weiter bisschen rumprobieren bis die Hardware ankommt und ich dort dann noch mal OMV installiere.

An dieser Stelle noch mal ein großes Danke an euch, ihr habt mir sehr weiter geholfen. Werdet aber bestimmt noch mal von mir hören

 

[CvH]

omv-extras.org ? http://omv-extras.org/simple/index.php?id=how-to-install-omv-extras-plugin <- Anleitung

Da ist das alles dabei, musst du evtl die Test Repos aktivieren im WebGui das es alles findet.

 

[Rick7]

Ja das hatte ich auch schon installiert, hatte aber das Testing nicht aktiviert. Die Installation hat zwar etwas rumgezickt aber jetzt (nach einem Neustart) läuft es (auf einer frischen VM). Ich denke für den Server werde ich dann tatsächlich lieber das nutzen, da die Installation doch etwas komfortabler ist. Danke.

 

[d4nY]

Sofern du nicht ZFS nutzen willst, dann spricht mMn nicht viel für FreeNAS/NAS4free (ich nutze selbst FreeNAS mit ZFS)
Denn wie schon gesagt, ist OMV mit Linux-Unterbau einfach viel flexibler und leichter zu handlen als FreeBSD, vor allem für Anfänger

Sieht man ja auch schon etwas an den Übertragungsraten, was nämlich mit hoher Wahrscheinlichkeit an den Treibern von FreeBSD liegt. Hatte nämlich das gleiche Problem in der VM und in der physischen Umgebung war alles OK

 

[Nebulus Jones]

Ich nutze seit kurzem auch nen Selbstbau-Freenas-Server:

Core i3 4130T
16 GB Ram
5x WD Red 2 TB
ASRock Z87E-ITX (Wegen 6 SATA Anschlüssen)

Und das alles klein und fein in einem Lian Li PC-Q25B Gehäuse.

Das einzige, was ich jetzt noch verbessern will ist die Lautstärke der Lüfter. Ansonsten bin ich sehr zufrieden mit Freenas und ZFS.

Datendurchsatz liegt bei großen Dateien bei ungefär 80-95 MB/s. Bei kleinen dann entsprechend auch deutlich weniger.

Plugins laufen auch.. (Owncloud, BTSync, Plex Media Server etc.) Gestern hab ich nen Teamspeak Server aufgesetzt. War ne Sache von 10 Minuten und ich habe bislang nur Erfahrung mit nem Pi auf Debian Wheezy gehabt und hatte von Raid sogut wie keine Ahnung.

Ich persönlich schwöre auf ZFS und daher kamen die anderen OS nicht für mich in Frage.

Idle Verbrauch rund 40 Watt.

 

[Rick7]

@d4nY: Ich bleibe wohl erst mal bei OMV, habe da auch schon sehr viel Zeit reingesteckt.
@Nebulus Jones: Hört sich sehr gut an, vor allem der Datendurchsatz ist ja echt geil. Hoffe das würde ich über LAN (1 Gbit) statt WLAN auch hinbekommen.

Vielleicht kann mir einer noch mal weiterhelfen, habe die Hardware zwar schon hier bin aber noch alles in einer VM am testen.

Noch mal kurz was ich vorhabe:
120 GB SSD - Systemplatte
2 x 3 TB - NAS / Daten
Da die Aufteilung meiner Daten auf 2 x 3 TB kaum Sinn macht, wollte ich die beiden Platten in ein Raid0 (Stripe) packen.
Eine Überlegung wäre das zumindest mit einer dritten Platte auf Raid5 zu erweitern (aber erst später).
So nun möchte ich die "große" Platte (RAID) aber trotzdem noch partitionieren, da ich ja einen unverschlüsselten "Transfer" Platz brauche (Systemplatte darf man ja nicht nutzen) und die andere verschlüsselt werden soll.
Vorstellbar wäre folgende Konstellation:
Partition 1 | 0,1 TB | Nicht verschlüsselt
Partition 2 | 5,9 TB | Verschlüsselt (TrueCrypt)

Das Installieren und Verschlüsseln über TrueCrypt habe ich nun endlich hinbekommen (ohne RAID).
Das Problem:
- Ich habe über OMV das RAID erstellt
- Ich habe über pmagic (das ist gparted) die Partitionen ("auf" dem Raid") wie folgt erstellt:
> Partitionstabelle MSDOS
> Partition 1 - 0,1 TB - Ext4
> Partition 2 - 5,9 TB - Gelöscht (also kein Dateisystem, wird für TrueCrypt benötigt)
* Größen nur theoretisch, da ich in meiner VM nur Größen bis max. 3 GB genommen habe

Die Partition 1 erscheint auch im OMV unter Dateisysteme, wenn ich sie nun aber einbinden möchte, erhalte ich immer "Device '/dev/md127p1' not found".
StackTrace:
-----------------------------------------------------------------------------------------
Fehler #6002: exception 'OMVException' with message 'Device '/dev/md127p1' not found' in /usr/share/openmediavault/engined/rpc/filesystemmgmt.inc:712 Stack trace: #0 [internal function]: OMVRpcServiceFileSystemMgmt->mount(Array, Array) #1 /usr/share/php/openmediavault/rpcservice.inc(125): call_user_func_array(Array, Array) #2 /usr/share/php/openmediavault/rpc.inc(62): OMVRpcServiceAbstract->callMethod('mount', Array, Array) #3 /usr/sbin/omv-engined(495): OMVRpc::exec('FileSystemMgmt', 'mount', Array, Array, 1) #4 {main}
-----------------------------------------------------------------------------------------

Wenn ich über SSH mal schaue, ist der Eintrag /dev/md127p1 aber vorhanden. Wenn ich über SSH mounten möchte, fehlt wohl ein Eintrag unter /etc (müsste noch mal nachschauen falls es relevant ist).
Was mache ich falsch?
Ich mein würde OMV nicht wegen den Freigaben auf der Boot HDD so rum zicken, dann würde mir das Raid ohne die Partitionen ja reichen. Allerdings brauch die TrueCrypt Partition wohl auch einen Speicherort der nicht die Systemplatte ist und natürlich nicht die zu verschlüsselnde Partition (in meinem Fall das gesamte RAID).

Ich danke euch.

Gruß
Rickard

 

[Bagbag]

Was ist denn "unverschlüsselter 'Transfer' Platz"?
Was auch immer das ist, so etwas brauchst du nicht, da die Verschlüsselung transparent ist (/sein sollte).

Außerdem würde ich nicht Truecrypt verwenden, sondern Linux's eigenes crypto-System LUKS - http://wiki.ubuntuusers.de/System_verschl%C3%BCsseln + https://wiki.archlinux.de/title/Festplatte_verschl%C3%BCsseln, da kann ich dir gerne helfen.

 

[Rick7]

Mit "unverschlüsselter Transfer-Platz" meinte ich eine Festplatte, oder einen Bereich auf einer Festplatte der a) unverschlüsselt bleibt und b) nicht die Boot-Platte ist, damit ich diese freigeben kann. Denn irgendwie muss ich ja auch mal Installationsdateien (in dem Fall TrueCrypt) rüber schieben können. Es wäre für mich halt nicht schlecht eine kleine unverschlüsselte Freigabe zu haben um mal adhoc was rüber zu schieben. Das mit LUKS sieht tatsächlich gut aus, das scheint nach der Anleitung doch recht simpel zu sein. Habe es jetzt erst mal mit der manipulierten OMV ISO probiert, wodurch der "partman" beim Installieren gestartet wird. Fände es durch aus interessant auch das ganze OMV System zu verschlüsseln. Bin aber gerade am Testen ob ich beides beim Installieren schon hinbekomme, idealerweise natürlich so, dass ich ein Passwort für die Boot- und Datenplatte verwenden kann und das beim Start nicht immer doppelt eingeben muss (was jetzt kein K.O. Kriterium wäre). Wird aber sicherlich noch was dauern bis ich hierzu ein Ergebnis habe

Ergänzung (29. April 2014)

An sich komme ich mit dem partman bei der OMV-Installation einigermaßen klar, habe jetzt ca. 5 VM's dafür "verbraten" (denn man kann scheinbar verschlüsselte Partitionen nicht mehr löschen ).
Allerdings habe ich dabei vergessen, dass ja die ganzen Dienste (wie SSH) erst nach dem Entschlüsseln gestartet werden (was ja logisch ist). Ich möchte den Server später aber natürlich ohne Monitor neustarten können... Fällt wohl also auch erstmal flach, war für mich aber auch nicht so wichtig. Habe jetzt mit dem partman beim Installieren nur die Datenplatte verschlüsselt und eine zweite unverschlüsselte als Ext4 (nur zum Testen). Muss noch raus bekommen wie ich die verschlüsselte Platte mounten kann. Kurios ist aber, dass die unverschlüsselte Platte ganz normal im OMV als Dateisystem dargestellt wird, ich diese aber weder für eine Freigabe auswählen kann, noch das Dateisystem über OMV löschen kann . Das ist doch kacke... Scheinbar kann man im OMV nur das verwalten, welches auch über OMV angelegt wurde. Von daher werde ich es als nächste mal mit der "direkten" LUKS-Variante probieren, also sprich:
- "normale" OMV Installation
- RAID erstellen
- Shell aktivieren
- Per LUKS (Shell) das Raid verschlüsseln
- Bei jedem Serverstart die Festplatte über die Shell mounten

Habe auch mal gesehen, dass es umgekehrt gemacht wurde: HDD1 - HDDn verschlüsseln und danach das RAID erstellen. Halte die erste Variante aber für besser, da dann zumindest das RAID nach dem Booten schon mal ein bekanntes Dateisystem (also die Partitionen im Verbund) hat. Ich glaube ich gehe besser mal schlafen, mir qualmt gerade der Kopf Probiere dann mal weiter und berichte.

 

[Bagbag]

Und du brauchst trotzdem keine unverschlüsselte Partition, wenn du etwas freigeben willst, gibst es eben vom verschlüsselten Bereich frei. Ich glaube du verstehst hier gerade irgendetwas falsch.

Ich hab es zwar grade nicht mehr im Kopf wie, aber es ist jedenfalls möglich alles mit einem Passwort zu machen (Ich selbst habe 2 Festplatten so verschlüsselt und werde nur einmal (beim Boot) abgefragt) - wenn du willst, können wir das mal bei dir mit OMV gemeinsam machen.

Argumente für und gegen RAID nach Verschlüsselung, dir mir jetzt auf die schnelle einfallen:

vor Verschlüsselung:
Hat der Intel Chipsatz nicht ein RAID-Controller? Den kannst du dann nur nutzen, wenn du das RAID davor machst.
-> höhere Performance, da Hardwareseitig.

danach:
Nach außen ist nichts erkennbar, nicht mal, dass es sich um ein RAID handelt, sondern es ist (auf allen Festplatten) einfach nur ein Bitsalat.


Und die Überlegung, dass du dann bereits Partitionen hast, ist auch Falsch, da die Partitionen ja lediglich virtuelle sind, welche im verschlüsseltem LVM sind - zumindest würde ich es so machen, du kannst wählen zwischen "LVM in LUKS" und "LUKS in LVM", ich glaube das wird in der Arch Wiki Artikel erklärt.

Zum entfernten starten des Systems:
Wenn du dich mit einer nicht kompletten Verschlüsselung zufrieden gibst (das System, oder zumindest Teile davon), könntest du einen Webserver laufen lassen, wo du dann auf einer statischen Website das Passwort eingibst, und dann in PHP so etwas machst: "exec 'cryptsetup luksOpen ...'".. oder einfach per SSH.

 

[CvH]

Hat der Intel Chipsatz nicht ein RAID-Controller? Den kannst du dann nur nutzen, wenn du das RAID davor machst.
-> höhere Performance, da Hardwareseitig.

Dieser "Hardwareraid" ist ein Softwareraid nur in einem Chip gepresst mit eigentlich nur Nachteilen gegenüber dem Linux Softwareraid (wenn Board kaputt brauchst du genau das selbe Board sonst alle weg). Performance macht eh keinen Unterschied, weil das Raid so oder so nur per CPU beschleunigt wird.

 

[Bagbag]

Ok, wusste ich nicht, danke

 

[Rick7]

Und du brauchst trotzdem keine unverschlüsselte Partition, wenn du etwas freigeben willst, gibst es eben vom verschlüsselten Bereich frei. Ich glaube du verstehst hier gerade irgendetwas falsch.

Na den unverschlüsselten Bereich brauche ich (einen anderen Weg kenne ich zumindest noch nicht) um das TrueCrypt Setup überhaupt von meinem lokalen Rechner auf das NAS zu kopieren. Im Nachhinein betrachtet hätte ich aber auch einer der NAS-Platte mit passendem Dateisystem partitionieren können, freigeben, TrueCrypt drauf kopieren, per Shell TrueCrypt auf die Sys-HDD verschieben, Partitionen wieder löschen, TrueCrypt installieren, NAS-Platten verschlüsseln.

Die Sache mit dem Webserver wäre natürlich auch noch eine echt gute Idee, nur müsste ich mich dann natürlich wieder durch die Installation "quälen", ohne Linux-Erfahrung ist das doch sehr aufwendig.

Naja um es kurz machen: Ich habe mittlerweile sehr viel Zeit in Linux und OMV + Komponenten gesteckt. Ich hatte noch eine Windows Server 2008 ISO inkl. Key hier. Ich werde daher erst mal Win2008 auf meinem NAS installieren. Damit kann ich dann alles machen was ich vor hatte und weiß da dann auch direkt wie ich das machen muss. Beispielsweise TrueCrypt installieren und einrichten, das ist für mich unter Windows aufgrund der GUI und Erfahrung um Welten einfacher. Freigaben sind auch wesentlich einfacher und Windows ist es auch egal, wenn ich die System-Platte freigeben würde.
Ich habe mal den Arbeitsspeicher-Verbrauch von OMV und Win2008 im Idle geprüft:
OMV: ~ 100 MB
Win2008: ~ 350 MB

Klar mehr als das dreifache, bei 8 GB RAM aber kaum bemerkbar. Und falls ich doch mal was aus Linux brauche kann ich immer noch zusätzlich eine VM laufen lassen, wobei man aber sicherlich unter Windows die gleiche Vielfalt hat wie unter Linux. Und kleinere Sachen kann ich ja immer noch selbst programmieren.

Im übrigen habe ich noch mal meine Daten durchgecheckt und bin zum Entschluss gekommen, dass 6 TB doch in 1-2 Jahren voll sein könnten. Ich bin daher mittlerweile auf 12 TB gegangen, wobei ich dafür aber ein RAID 5 einrichten werde, also effektiv dann "nur" noch 9 TB. Meine Hardware (Board, Netzteil, Gehäuse) habe ich aber auf 8 Steckplätze erweitert, sodass für die Zukunft noch genügend Luft ist.

Trotzdem habt ihr mir natürlich sehr gut weitergeholfen und die gesammelten Erfahrungen werde ich sicherlich noch mal bzgl. Linux & Co. einsetzen, nicht ausgeschlossen, dass ich später mein NAS doch wieder auf OMV umziehen werde

 

[Bagbag]

Eine einfache Möglichkeit wäre gewesen, das ganze nach /tmp runterzuladen (bei den meisten Distributionen liegt das im Arbeitsspeicher (RAM-Disk)). Ansonsten eben mit LUKS, was ja im Kernel integriert ist.

Wenn du unbedingt eine GUI haben willst, kannst du das auch unter Linux haben: entweder über VNC oder aber X11-Forwarding (Dafür gibt es auch Windows Clients).

Und noch einmal: Du kannst auch den Systemdatenträger als Datenablage nutzen (Höchstens die Systempartition nicht)!

Und nochmal: Solltest du dich für Linux entscheiden, kannst du mich gerne anschreiben, dass ich dir dann per Teamviewer o.Ä. helfe (z.B. bei dem Webserver).

 

[Rick7]

Mit dem Partitionierung hast du natürlich Recht, das hätte ich vorher machen können.
Bzgl. TeamViewer: Das weiß ich sehr zu schätzen
Möchte aber ungern deine Zeit einfach so in Beschlag nehmen. Wenn es soweit ist (was jetzt sicherlich noch was dauern wird) und ich nicht weiter komme, würde ich aber auf dich bzw. auf diesen Thread zurück kommen. Besten Dank.

 

[Bagbag]

Da ich eh viel zu viel Freizeit habe, würde ich es Begrüßen, wenn du meine Zeit in Beschlag nimmst