flo36
Captain
- Registriert
- Sep. 2007
- Beiträge
- 3.660
Hallo und guten Abend,
wie im Titel kurz beschrieben habe ich ein Problem und einige Fragen zu meiner Hyper-V Umgebung.
Kurz zur Hardware:
CPU: Xeon E3-1231 V3 4C/8T 3,4 GHz vorher G3220 aber ich dachte die sei zu schwach.
Mobo: Supermicro X10SLL-F
Ram: 16GB
OS: Winserver 2012 R2
RAID Controller: HP Smart Array P400 mit 256MB Cache + Batterie.
HDD Aktuell: 256GB Kingston SSD, 2*2TB WD Green Winserver Software RAID1, 8x250GB Seagate und WD Platten RAID6 am P400
HDD Ziel: 256GB Kingston SSD, 8x3TB WD Red am P400
Eigentlich wollte ich einfach ein Windows Software RAID5 über die 8 Platten spannen, da ein RAID6 nicht möglich war. Hier war die Performance allerdings Katastrophal und auch die Storage Pools änderten daran sehr wenig.
Das nächste Vorhaben war dann eine Installation von OpenMediaVault oder Xpenology (Da ich das DS1813+ damit ergänzen bzw. langfristig ersetzen wollte) in einer VM und das Durchreichen der Platten direkt in die VMs um diese dann als iSCSI Ziel wieder in Windows als Datenspeicher zu verwenden.
Hier langweilte sich dann zwar die CPU lt. Prozessinfo der Systeme aber anscheinend war der VSwitch von Hyper-V mit der Datenverarbeitung überfordert.
In dieser Konstellation waren die Platten noch an einem Host Bus Adapter angeschlossen(also nicht am P400). Die Performance des RAIDs konnte ich im System leider nicht testen, aber die Initialisierungsgeschwindigkeit unter OMV lag bei knapp 210 MB/s.
Daraus wurden dann aber im Netzwerkverkehr über Samba oder iSCSI zwischen 40 und 60 MB/s. Am Hyper-V selbst war hier der Prozess Systemunterbrechungen teilweiße bei 20% CPU Last während der Datenübertragungen.
Dies liegt anscheinend aber an der mangelnden Unterstützung der Virtuellen LAN Karte im Linux. Den Tipp mit der Aktivierung von SR-IOV habe ich angewendet, hat aber leider nichts gebracht.
Damit war dann das Thema Software RAID leider erledigt und ich habe mir einen HP P400 zugelegt.
Hier liegt die Performance nun bei 270 MB/s lesen und 137 MB/s schreibend.
Der Cache am Controller wurde 90% lesen / 10% schreiben aufgeteilt und ein Verändern dieser Parameter führte zu keiner Änderung(deaktivierung des Cache führte zu 20 MB/s). Auch den Cache der Festplatten habe ich reaktiviert um in den Genuss von mehr als 100 MB/s zu kommen.
Mein Problem ist nun: Ich wollte eigentlich ein Linux MDADM Software RAID6 um nicht an Hardware gebunden zu sein.
Das musste ich leider verwerfen, da dies Virtualisiert anscheinend ein unmögliches Unterfangen ist.
1. Frage: Gibt es irgendwelche Tipps oder Tricks wie man die Performance von Linux im Netzwerk in einer VM erheblich verbessern kann sodass mehr als 200 MB/s schreibend dabei raus kommen (Der Hyper-V Vswitch stellt immerhin 10 Gbit/s intern zur Verfügung)?
2. Frage: Habe ich mir vom HP Smart Array vielleicht einfach zuviel erwartet und benötige einen neueren bzw. besseren Controller?
3. Frage: Wird der Controller mit den WD RED 3TB eventuell schneller aus irgend einem Grund?
4. Frage: Setze ich eventuell den falschen Hypervisor ein?
Zusatzinfo: Ich habe auch VMWare ESXi 5.5 bereits getestet und auf Grund der noch schlechteren RAID Leistung in Linux VMs wieder verworfen.
Die Festplatten aus dem DS1813+ wollte ich erst entnehmen wenn alles so läuft wie es soll und alle VMs auf den 250GB Platten vorbereitet wurden.
Ziel: Ein VM Host auf dem ein Win8 als 24/7 PC Remote erreichbar ist. Ein Linux oder Win als Datenlager, Medienserver mit Plex und einer Cloudlösung (wie Synology Cloudstation).
Mit dem HP P400 wäre dies alles auch möglich aber ich möchte im Netzwerk eben den Luxus der vollen Gbit LAN Geschwindigkeit nicht verlieren. Hier wurde ich durch die Synology DS1813+ extrem verwöhnt.
Am liebsten wäre mit eine fertige kleine Linux Distri gewesen in dem ein MDADM Raid läuft und über KVM die VMs erstellt bzw. verwaltet werden. (Gibts aber anscheinend nur bei Qnap)
Möglichkeiten: Ich kann den Hypervisor wechseln. Solange es ein Frontend (Gui oder Webinterface) gibt sollte es machbar sein.
Natürlich aber auch eure Vorschläge, sonst würde ich nicht fragen
.
Ich bin leider mit meinem Wissen am Ende und hoffe, dass jemand von euch eine Rettende Idee hat.
Vielen Dank für eure Hilfe!!
Liebe Grüße und schönen Abend noch,
Flo
Anhänge:
1. RAID6 Performancetest mit AS SSD Benchmark
wie im Titel kurz beschrieben habe ich ein Problem und einige Fragen zu meiner Hyper-V Umgebung.
Kurz zur Hardware:
CPU: Xeon E3-1231 V3 4C/8T 3,4 GHz vorher G3220 aber ich dachte die sei zu schwach.
Mobo: Supermicro X10SLL-F
Ram: 16GB
OS: Winserver 2012 R2
RAID Controller: HP Smart Array P400 mit 256MB Cache + Batterie.
HDD Aktuell: 256GB Kingston SSD, 2*2TB WD Green Winserver Software RAID1, 8x250GB Seagate und WD Platten RAID6 am P400
HDD Ziel: 256GB Kingston SSD, 8x3TB WD Red am P400
Eigentlich wollte ich einfach ein Windows Software RAID5 über die 8 Platten spannen, da ein RAID6 nicht möglich war. Hier war die Performance allerdings Katastrophal und auch die Storage Pools änderten daran sehr wenig.
Das nächste Vorhaben war dann eine Installation von OpenMediaVault oder Xpenology (Da ich das DS1813+ damit ergänzen bzw. langfristig ersetzen wollte) in einer VM und das Durchreichen der Platten direkt in die VMs um diese dann als iSCSI Ziel wieder in Windows als Datenspeicher zu verwenden.
Hier langweilte sich dann zwar die CPU lt. Prozessinfo der Systeme aber anscheinend war der VSwitch von Hyper-V mit der Datenverarbeitung überfordert.
In dieser Konstellation waren die Platten noch an einem Host Bus Adapter angeschlossen(also nicht am P400). Die Performance des RAIDs konnte ich im System leider nicht testen, aber die Initialisierungsgeschwindigkeit unter OMV lag bei knapp 210 MB/s.
Daraus wurden dann aber im Netzwerkverkehr über Samba oder iSCSI zwischen 40 und 60 MB/s. Am Hyper-V selbst war hier der Prozess Systemunterbrechungen teilweiße bei 20% CPU Last während der Datenübertragungen.
Dies liegt anscheinend aber an der mangelnden Unterstützung der Virtuellen LAN Karte im Linux. Den Tipp mit der Aktivierung von SR-IOV habe ich angewendet, hat aber leider nichts gebracht.
Damit war dann das Thema Software RAID leider erledigt und ich habe mir einen HP P400 zugelegt.
Hier liegt die Performance nun bei 270 MB/s lesen und 137 MB/s schreibend.
Der Cache am Controller wurde 90% lesen / 10% schreiben aufgeteilt und ein Verändern dieser Parameter führte zu keiner Änderung(deaktivierung des Cache führte zu 20 MB/s). Auch den Cache der Festplatten habe ich reaktiviert um in den Genuss von mehr als 100 MB/s zu kommen.
Mein Problem ist nun: Ich wollte eigentlich ein Linux MDADM Software RAID6 um nicht an Hardware gebunden zu sein.
Das musste ich leider verwerfen, da dies Virtualisiert anscheinend ein unmögliches Unterfangen ist.
1. Frage: Gibt es irgendwelche Tipps oder Tricks wie man die Performance von Linux im Netzwerk in einer VM erheblich verbessern kann sodass mehr als 200 MB/s schreibend dabei raus kommen (Der Hyper-V Vswitch stellt immerhin 10 Gbit/s intern zur Verfügung)?
2. Frage: Habe ich mir vom HP Smart Array vielleicht einfach zuviel erwartet und benötige einen neueren bzw. besseren Controller?
3. Frage: Wird der Controller mit den WD RED 3TB eventuell schneller aus irgend einem Grund?
4. Frage: Setze ich eventuell den falschen Hypervisor ein?
Zusatzinfo: Ich habe auch VMWare ESXi 5.5 bereits getestet und auf Grund der noch schlechteren RAID Leistung in Linux VMs wieder verworfen.
Die Festplatten aus dem DS1813+ wollte ich erst entnehmen wenn alles so läuft wie es soll und alle VMs auf den 250GB Platten vorbereitet wurden.
Ziel: Ein VM Host auf dem ein Win8 als 24/7 PC Remote erreichbar ist. Ein Linux oder Win als Datenlager, Medienserver mit Plex und einer Cloudlösung (wie Synology Cloudstation).
Mit dem HP P400 wäre dies alles auch möglich aber ich möchte im Netzwerk eben den Luxus der vollen Gbit LAN Geschwindigkeit nicht verlieren. Hier wurde ich durch die Synology DS1813+ extrem verwöhnt.
Am liebsten wäre mit eine fertige kleine Linux Distri gewesen in dem ein MDADM Raid läuft und über KVM die VMs erstellt bzw. verwaltet werden. (Gibts aber anscheinend nur bei Qnap)
Möglichkeiten: Ich kann den Hypervisor wechseln. Solange es ein Frontend (Gui oder Webinterface) gibt sollte es machbar sein.
Natürlich aber auch eure Vorschläge, sonst würde ich nicht fragen
.Ich bin leider mit meinem Wissen am Ende und hoffe, dass jemand von euch eine Rettende Idee hat.
Vielen Dank für eure Hilfe!!
Liebe Grüße und schönen Abend noch,
Flo
Anhänge:
1. RAID6 Performancetest mit AS SSD Benchmark
