Projekt: Heimserver auf HyperV Basis mit Server 2012 R2 Datacenter und Storage Spaces

[Krautmaster]

Hallo zusammen,

seit etwa 3 Jahren betreibe ich einen Clarkdale Heimserver mit I5 und AES, basieren auf einem Raid aus 5x2000 GB und 16 GB Ram. Nun steht die Ablöse ins Haus die ich etwas professioneller angehen will als eine reine Windows Server Installation über einem Intel Raid. Außerdem lern ich gern dazu.

Aktuelles Case:


-> Eigenbau

Dank nun ITX kann ich oben noch 4x3,5" Unterbringen (bereits ausgemessen) - > die HDD Halterung muss ich noch im CAD machen und lasern lassen
-> 10x 3,5" dann, sehr kompakt - frage ist ob das das Pico PSU 150 oder 200W abkann.

Einsatzgebiete des Servers:

• Fileserver
• Direct Access für Win 8.1 Clients / VPN + eigene Zertifikate
• Webserver (linux)
• Buildserver (linus)
• eventuell Router/Firewall
• weitere VMs...

Als Basis kommt ein brandneues Avoton 8 Kern ATOM Board zum Einsatz, Basis Silvermont (wie Baytrail).

Link zum Board:
http://geizhals.de/asrock-c2750d4i-pc3l-12800e-ddr3-a1040153.html

Bilder:




Ein paar Benchmarks:

TrueCrypt:

CineBench V11.5:

CineBench V15:

Verbrauch:

Mit Dem PicoPSU 90W sind es
20W idle (hier hatte ich eher auf 5-15W gehofft)
max 35W load in CineBench

Nun zum Projekt:

Laufen soll darauf eine Hyper-V Server 2012 R2 Datacenter Edition (Alles von Dreamspark). Datacenter Edition deshalb, da diese eine beliebige Anzahl an Aktivierungen für die darüber laufenden Windows Server 2012 R2 Versionen zulässt.

Alle Festplatten darunter will ich an - vorerst eine, VM mit Server 2012 R2 Standard durchreichen und hier mittels Storage Spaces 2x Raid 5 (Parity) in Software definieren:

Infos:
http://www.petri.co.il/new-features-windows-server-2012-r2-storage-spaces.htm

Siehe http://blogs.technet.com/b/josebda/...spaces-tiering-in-windows-server-2012-r2.aspx

Das ist an sich recht abgefahren da ein Tier aus SSDs und HDDs komplett transparent erkennt ob der Traffic High IO Lastig ist und dann auf die SSD oder eben auf die HDD schreibt, wo genau interessiert dich in der Layer darüber überhaupt nicht.
Zudem gibt es Deduplication also werden mehrfach vorhandene Dateien nur einmalig gespeichert.

Das Gesamtprojekt hab ich mal in eine Grafik gepackt:

Das Failover ist erstmal nicht vorgesehen, kann aber ergänzt werden und der Space wird dann transparent und automatisch auf die zweite VM umgezogen... Blech bleibt es trotzdem nur eines.

Komme ich mit dem ganzen Kram nicht klar werde ich eventuell auf NAS4FREE in VM setzen, ich kann die Platten ja direkt durchgeben und dann da ein ZFS aufsetzen.

Mich würden eure Meinungen interessieren - zudem habe ich einige offene Fragen:

• geht offensichtlich technisch irgendetwas nicht in meiner Plaung
• ich nehme an dass ich die Hyper-V Server 2012 R2 Datacenter Install als Core Installation mache?
• hat jemand schon Erfahrungen damit?
• kann man zusätzlich Bitlocker einbringen?
• Nachteile durch HyperV Portable auf USB oder lieber auf die SSD installieren?
• ... weitere Anmerkungen willkommen

Grüße

Krautmaster

Update 20.12.2013

Ergänzung (20. Dezember 2013)

So erste Ergebnisse mit NAS4FREE embedded

16GB RAM
4x4TB RAID5 (RaidZ)
Alle Platten an 4x SATA II vom C2750
PicoPSU 90W (der 84W Adapter kämpft glaub ich)

Ohne Kompression:

PC -> NAS


NAS -> PC


JZJB

PC -> NAS


NAS -> PC


Maximum (GZIP-9)

PC -> NAS


NAS -> PC



Verbrauch:

43W idle (drehende Platten)
Last (PC -> NAS) 52-64W schwankend

Ergänzung (20. Dezember 2013)

Lokale Plattentests:



Jeweils 30GB lesen / schreiben

ohne Kompression:

-> NAS (260MB/s)


<- NAS (270MB/s)

Ergänzung (20. Dezember 2013)

So Platten idlen nach 5 Min wie in NAS4FREE eingestellt. Damit wäre das auch geklärt, geht problemlos mit den WDs. 30W saugt die Kiste nun was aber auch etwas dem Linux geschuldet ist. Frisst per default 2-3W mehr als Win.

Spin-Down mit R5 geht also im NAS4FREE

Update 20.12.2013

Storage Spaces Test im SSD Tiering und Raid5 (Parity)


Hier ein sehr guter Thread zu Storace Spaces mit vielen Benches!

http://forums.servethehome.com/wind...0-serer-2012-r2-storage-spaces-tiering-2.html

Ergänzung (22. Dezember 2013)

lol ich war si frei die zwei EVO 250GB SAMSUNG SSDS zu nehmen die hier schon rumliegen um mal Tests zu fahren, sieh an, auf einmal rockt das Parity sowas von wenn man die SSDs mit in den Pool wirft deutlich mehr.

SSDs hängen am Marvel Controller, werden wie die Platten durchgegeben:


Setting:

Get-StoragePool -FriendlyName TieredPool | Get-PhysicalDisk | ? MediaType -eq SSD | Set-PhysicalDisk -Usage Journal
New-StorageTier -StoragePoolFriendlyName TieredPool -FriendlyName SSD_Tier -MediaType SSD
New-StorageTier -StoragePoolFriendlyName TieredPool -FriendlyName HDD_Tier -MediaType HDD
New-VirtualDisk -StoragePoolFriendlyName TieredPool -FriendlyName HDD_Parity -UseMaximumSize -ResiliencySettingName Parity -ProvisioningType Fixed-WriteCacheSize 100GB

Performance:

Ergänzung (22. Dezember 2013)

RealWorld Benches:

MP3 -> NAS



NAS -> MP3



ISO -> NAS


(hier limitiert die WS NIC, der alte Server schaufelt mit 113MB/ drauf)

NAS -> ISO



alle Speeds konstant auf ein mit Bitlocker verschlüsseltes NAS Volume mit Parity.

so bin ich happy damit. Zumal es mit Datacenter schönes Teaming der NIC gibt (meine WS hat nur ein GBE in Benutzung und Marvel Teaming unter WIn 8.1 geht iwi nicht...) - aber könnte vorteilhaft sein wenn ich zb was mit dem HTPC mache oder andere VMs auf das Volume zugreifen.

 

[Cool Master]

Schaut schon mal cool aus ich habe aber 2 Kritik Punkte:

Ich bin einfach nicht der Freund von SW-RAID Deswegen würde ich dir ans Herz legen, sollte es passen, ein HW-RAID Controller zu kaufen. Adaptec oder LSI ist erst mal egal. Bei Adpatec liegt idR auch ein Low Profile Slot dabei.

Ich würde auch eher auf eine SSD für die Installation setzen statt auf ein USB Stick

Abgesehen von den 2 Punkten wie gesagt sieht schon sehr gut aus und hört sich interessant an.

 

[Kampfwurst Hugo]

Wenn ein ESXi zum Einsatz kommt kannst du ohne Probleme einen USB Stick für die Installation verwenden. Ansonsten würde ich auch auf einen Hardware Raid Controller setzen.

 

[hrafnagaldr]

Ich habe von Berufswegen nun auch noch keine Erfahrungen mit den Storage Spaces. Klar, man spart sich den RAID-Controller. Gerade bei der Nutzung von Parity wird sich der fehlende Hardware-Cache eines Controllers deutlich bemerkbar machen, auch wenn das durch die SSDs sicher noch teilweise kompensiert werden kann. Für Performance kann man also nur das SImple Layout nutzen, Parity dann wirklich nur für Backup / Archivierung.
Vorteile sind natürlich klar die Technologien aus dem SAN-Bereich, die dazu nötige Hardware wäre sonst recht teuer. Aber klingt interessant, gerade für den Heimbereich ehrlich gesagt.

 

[Frightener]

Zur Datacenter Edition:
Das ist eigentlich nicht notwendig, da die Version nichts mit der Aktivierung, sondern der Lizenzierung zu tun hat.

 

[Shririnovski]

Interessantes Projekt auf jedenfall, wünsche Dir gutes Gelingen

Da ich nicht so bewandert bin was solche Systeme angeht, kann ich Dir leider nicht wirklich viel weiter helfen. Ich störe mich bei deiner Projektplanung allerdings ein wenig am USB-Stick für Hyper V.

Praktisch alle meine USB Sticks, die ich im täglichen gebrauch habe, sind mir nach spätestens 2,5Jahren kaputt gegangen, wie das jetzt genau bei einem Stick der permanent an einem Rechner hängt aussieht mit der Lebensdauer weiß ich nicht, aber ich denke mal, hier wird der Hardwareschwachpunkt zu suchen sein. Ich würde da eher zu einer gescheiten SSD tendieren. Auch interessant wäre der Performanceunterschied zwischen Hyper V auf USB-Stick & SSD.

 

[darkange_1]

Also sehr schön - mein Gott ich suche schon seit Monaten nach einem vernünpftigen mITX Baord und bei dir finde ich es. Mein ZOTAC DTX muss endlich ausgetauscht werden von meinem Server!

Also wenn du ein lokales Backupschreiben willst von den Platten, würde ich auch vorschlagen mindestens noch einen RAID Kontroller anzuschaffen, um die Abhängigkeit vom Board einbisschen zu lösen - Performance Probleme solltest du eigentlich keine bekommen.

•Nachteile durch HyperV Portable auf USB oder lieber auf die SSD installieren?

Zum Thema USB Stick: Ich würde auch eher ne kleine SSD vorschlagen, wegen Schreib und Lesecyclen und da ist son USB Stick halt nicht so pralle.

•geht offensichtlich technisch irgendetwas nicht in meiner Plaung

Der technische Aufbau sollte theoretisch funktionieren

•ich nehme an dass ich die Hyper-V Server 2012 R2 Datacenter Install als Core Installation mache?

Dann hast du nur eine Console vorliegend, wenn das dein Ziel ist.

•hat jemand schon Erfahrungen damit?

Hyper V läuft gut - die linux Integration hat sich deutlich verbessert. Du wirst aber wohl Performance Probleme bekommen können, wenn du nur auf SW Raids setzt und mehrere VMs hast die aktiv laufen.

•kann man zusätzlich Bitlocker einbringen?

Kannst du machen. Was willste denn genau verschlüsseln?

 

[Frightener]

Hyper-V auf einem USB Stick ist Blödsinn (ich weiß gar nicht, ob das überhaupt möglich ist). Welchen Sinn sollte das haben?

Du kannst zur Installation erstmal mit GUI installieren und per Powershell später auf Core 'umschalten'. Erfahrung habe ich damit - was genau möchtest Du wissen?

Wie soll der Failover funktionieren?

 

[Spaxgeco]

Hyper-V auf einem Stick ist möglich, rate ich aber von ab.
Auf einer SSD und dann läuft das ganze super.

Willst du wirklich eine Core installation??
Das macht an performance gerademal 1 - 2 % aus. Dafür nimmst du dir viel flexibilität, bzw. musst halt viel über die shell machen. Nutze ich hier auf der Arbeit nur, weil wir SCVMM als zentrale Administrationsconsole haben.

 

[Inqontrol]

Die wohl wichtigsten Neuerungen an Server 2012 R2 sind (hauptsächlich im Hyper-V Bereich und Anbindung an Win Azure):

- Shared VHDX
- Vergrößerung, Verkleinerung der VHD`s im laufenden Betrieb
- Live Migration

Und natürlich das von Dir angesprochene Storage Spaces Tiering.

Datacenter:
Die Standardversion darf maximal mit zwei virtuellen Instanzen genutzt werden, die Datacenter-Edition erlaubt die Verwendung beliebig vieler virtueller Maschinen auf einem physischen System. In allen anderen Punkten sind diese beiden Editionen identisch.


Wenn du nicht auf viele virtuelle Instanzen aus bist, brauchst Du keine Datacenter-Lizenz.


Der Flaschenhals, wie schon angesprochen, wir der SW-Raid sein. Würde dir auch zu einem Hardware Raid-Controller raten (SAS). Kostet zwar nochmal ca. so viel wie das Board, aber dafür hast du dann wirklich keinen "Flaschenhals". Deine SATA-Platten haben auch keinerlei Probleme mit dem SAS-Controller. Die Controller für PCIe 8x von LSI sind wirklich gut (Preis/Leistung).

 

[Frightener]

Datacenter:
Die Standardversion darf maximal mit zwei virtuellen Instanzen genutzt werden, die Datacenter-Edition erlaubt die Verwendung beliebig vieler virtueller Maschinen auf einem physischen System. In allen anderen Punkten sind diese beiden Editionen identisch.

Wenn du nicht auf viele virtuelle Instanzen aus bist, brauchst Du keine Datacenter-Lizenz.

Das stimmt nicht. Das ist eine Lizenzfrage, kein technisches Limit. Du kannst auch auf einem Standard Host hunderte VMs betreiben, solange Du diese lizenzierst. Ab einer gewissen VM Anzahl ist es aber kostengünstiger, die VMs über eine Datacenter Version zu lizenzieren.

 

[Inqontrol]

Das stimmt nicht. Das ist eine Lizenzfrage, kein technisches Limit. Du kannst auch auf einem Standard Host hunderte VMs betreiben, solange Du diese lizenzierst. Ab einer gewissen VM Anzahl ist es aber kostengünstiger, die VMs über eine Datacenter Version zu lizenzieren.

Ich bin davon ausgegangen das man als "Privat-Person" nicht unbedingt mehrere Lizenzen für Server 2012 R2 besitzt. Technisch ist das logisch möglich, aber die Lizenzierung ist meistens immer der Kernpunkt. Kenne mich mit dem Dreamspark-Programm von Microsoft nicht so ganz aus, aber man bekommt doch nicht mehrere Lizenzen? Die haben ja sogar TechNet-Abo`s eingestellt....aber interessieren würd es mich trotzdem, was da möglich ist?

 

[Frightener]

Dreamspark ist MSDN, nicht TechNet. Als Privatperson eine Datacenter Edition zu haben ist ebenfalls nicht üblich

 

[Krautmaster]

@ Controller

der Trend geht klar weg von Hardware Controllern und ich hab ja nicht umsonst 12x SATA aufm Board. Ich geh sogar soweit und sage Hardware Raid Controller sind out, sieht man an Systemen wie ZFS und den neuen Windows Server 2012 R2 Features.

Software ist in vielerlei Hinsicht deutlich flexibler und kompatibler.

Was Raid angeht so hab ich schon das Intel SW Raid ausgelotet. Es ist maßgeblich von der Anzahl der Platten und der Aufteilung Stripe -> Blick Size abh. Ein einfaches 3x2 TB Raid in Software bringt bei mir schon folgendes:
Intel Raid H57
16K Stripe Size + 64k Cluster
ohne WirteCache (!)

Spoiler

Raid Test H57

Konfiguration 1:
Intel Core i5 661 @3,0 Ghz Turbo aus.
4 GB Geil 1333er Ram Cl9 @ 1,3V (74€)
MSI H57 (77€)
64GB Kingston SSD (100€)
120W PicoNetzteil (67€) + 120W Adapter
5x Samsung F3 2000GB

Raid0

Raid5

Standard! : 64K Stripe Size + 4k Cluster (Zuordnungsseinheit)

ohne WirteCache vs mit WriteCache

16K Stripe Size + 64k Cluster

ohne WirteCache vs mit WriteCache

16K Stripe Size + 4k Cluster

ohne WirteCache vs mit WriteCache

64K Stripe Size + 64k Cluster

ohne WirteCache vs mit WriteCache

0> 16K Stripe Size + 64k Cluster gewinnt!

Wie man sieht überzeugen gerade bei 16k Strip Size + 64 k Clustersize die Werte ohne Aktivierung des SchreibCaches. Im Falle eines Crashes oder der Nutzung von Hot Swap ist es sinnvoll den Schreibcache deaktiviert zu haben.

Es geht folgendes: Bei allen Lösungen bleiben die Daten natürlich erhalten:

Kein Raid -> Raid 1

Raid 1 -> Raid5

Raid 5 -> Raid5 mit mehr Platten

Raid 5 Größe verändern (zB von 2 GB auf 4000 GB ohne Platten hinzuzufügen)

Alles ging mim Nvidia Raid nich...

Windows braucht jeweils einen Neustart um den Datenträger "größer" zu erkennen, danach kann einfach via Windows die Partition aufgebohrt werden

Netzwerktest

(PC -> NAS)



sodele... relativ konstant 100% Netzwerklast PC -> Server über diesen kleinen wunderswitch
TP-Link TL-SG1008D, 8-Port Preisvergleich bei Geizhals.at EU

Macht 105 MB/s beim Speichern von Image Dateien auf das Raid5 über den Switch.
(Der Ressoucenmonitor zeigt bereits Durchschnittswerte an...)

Die CPU (Core i5) auf 3 Ghz steht genau bei 50%.

@Lizenzen.
-> Im Dreamspark hab ich die DataCenter, mach aber n Technisches Studium (Master Informatik). Da macht MS nochmal ne Fallunterschiedung iwi.

 

[Frightener]

der Trend geht klar weg von Hardware Controllern

Ist zwar OT: Im Privatbereich vielleicht, nicht im Business/Enterprisebereich

Zurück zu meiner Frage: Wie hattest Du die Failoverlösung geplant?

 

[Krautmaster]

auch im Business Bereich auch wenn es da noch nicht so angekommen ist, wie eben Server 2012 (R2) und Win 8.1 da generell noch nicht angekommen ist.

Man kann sich vorstellen wie ein gut gemanagter SSD+ HDD Tier abgehen kann - meist limitiert eher das Netzwerk wie hoffentlich dann auch bei mir
Bei Parity ist meist eine gerade Anzahl Platten der Performance Killer im SW Raid da sich eben Stripe zu Cluster Size dann "ungerade" verhält. Am besten also eher sowas wie 16k stripe zu 64k Cluster.
4x4TB im ZFS also SW Raid 5 mit 4 Platten bringt aber schon problemlos auf einem G1650 Celeron bei <50% CPU Last 100-120 MB/s Netzwerk lesen / schrieben und auch bei kleinen Files super werte.

FailOver:

Naja das ist erstmal optional da wohl jeder im Haus und auch ich bei Wartung oÄ einige Minuten ohne Filme Mucke etc auskommen sollte

Ich meine aber dass man die zwei Server 2012 R2 Systeme problemlos clustern können sollte und im Fehlerfall der Storage Pool umgehängt wird. Kann mich aber täuschen. Müsste man sich einlesen was ich ohnehin etwas getan hab und auch tun muss.

Edit: Restliche Posts geh ich nachm Mittagessen drauf ein

Ergänzung (18. Dezember 2013)

Ich würde da eher zu einer gescheiten SSD tendieren. Auch interessant wäre der Performanceunterschied zwischen Hyper V auf USB-Stick & SSD.

ich hab ja beide Optionen offen. Im ersten Versuch geht das ganze eh mit 8 GB ram und nur 4x4TB sowie einer SSD an den Start. Learning by Doing

Denke das ganze System läuft bei HyperV von Stick und auch so quasi im Ram. Ein gutes Backup vom Stick sollte eigentlich reichen da man der VM Konfig nicht jeden Tag dreht denk ich. VM Selbst natürlich auf SSD und am besten Mirror

Ergänzung (18. Dezember 2013)

Hyper-V auf einem Stick ist möglich, rate ich aber von ab.
Auf einer SSD und dann läuft das ganze super.

Willst du wirklich eine Core installation??
Das macht an Performance gerademal 1 - 2 % aus. Dafür nimmst du dir viel flexibilität, bzw. musst halt viel über die shell machen. Nutze ich hier auf der Arbeit nur, weil wir SCVMM als zentrale Administrationsconsole haben.

hm naja ich meine ich nutze es ja eig dann nur als Hypervisor oder und das kann ich ja dann einfach mim Manager von jedem Win 8.1 und Server Client verbinden, hab dann eben die Typischen HyperV Einstellungen in GUI.

Die 2 VMs "darüber" hab ich natürlich als Standard install vor.

 

[Frightener]

Ich arbeite in diesem Bereich und auch mit Server 2012 (noch ohne R2), dieser 'Trend' ist allerdings nirgendwo in Sicht. Performance- und redundanztechnisch ist das IMHO auch wenig sinnvoll. Selbst unsere HP EVAs mit 2 Controllern kann man mit den entsprechenden Hyper-V Clustern in die Knie zwingen.

Failover:
Das ist mit zwei geclusterten virtuellen Server und Fileservices als Clusterresource möglich. Allerdings hat Du sowieso immer einen Ausfall, spätestens, wenn der Host aktualisiert wird.

USB Stick:
Der Hypervisor muß aber auch vernünftig laufen, sonst laufen die VMs nicht vernünftig, selbst wenn Du ihn ohne GUI betreibst.

 

[Krautmaster]

Jup.

Ich halte fest -> Hypervisor auf ne SSD.

@Failover

Ja das ist klar, mir gehts dabei eher weniger um Sicherheit oder Verfügbarkeit, eher um das "es ist möglich und wie mach ichs"
Auf den Server 2012R2 läuft auch anderes zeugs wie FileTagging, JPEG Komprimierung, Music Tagging, JDownloader... sowas.

-> vielleicht auch als eigene VM dann - bisher hab ich ja nur eine Server 2012 Install auf Blech.

@ Trend

ja sicher, wenn du wirklich lokale Zugriffe hast bei denen mehrere GByte /s notwendig sind kommste sicher nie über HW Controller rum aber oft ist man eben flexibler und dynamischer unterwegs wenn man eine SW-Lösung hat, gerade dann wenn ohnehin das LAN limitiert (denk ich).

Wenn natürlich ne gestresste hochperformante DB dann pber SW auf die Platten / SSDs muss...

Das sind die Ergebnisse mit aktivem Write Cache und Intel ICH Software Raid... der H57 hat ja auch schon paar Jahre drauf. Zum Anderen geht das ja alles über DMI der da zusätzlich limitiert.

Für 5x2000 GB 5400er Platten aber wie ich finde ganz anständig, gerade angesichts Software Raid mit nem günstigen onBoard Controller. Problem sind eher die kleinen 4k Raten bei deaktiviertem Write Cache (24Mb/s).

Ergänzung (18. Dezember 2013)

Frage:

Hm wie sollte ich das nun angehen wenn ich den HyperV Server Datacenter auf ne SSD spiele?

Von USB installier ich sowieso... kann ich da dann sagen dass er 2x 128GB SSDs als Mirror zusammenfassen soll, SW Raid 1 sozusagen schon bei der Windows Core Install?

Wenn der drauf ist mach ich dann Virtuelle Platten für die VMs on Top + vllt gar welche um dann Write Back Cache zu aktivieren bei der VM Instanz die Fileserver spielt und den StorageSpace ausprägt?

 

[Kampfwurst Hugo]

was für ein Raid ist das? Raid 5?

 

[Frightener]

Wegen des RAIDs während der Installation kann ich Dir nicht weiterhelfen, allerdings würde ich erstmal mit GUI installieren, bis der Server konfiguriert ist.