Test QNAP TS-h686 im Test: Das Intel-Xeon-ECC-PCIe-2,5-GbE-ZFS-M.2-NAS

[mgutt]

kannst ist es hier viel knapper zusammengefasst:
https://theithollow.com/2012/03/21/understanding-raid-penalty/

Der den Artikel geschrieben hat, hat vergessen zu erwähnen, dass er sich nur auf Random Writes bezieht (was bei einem RAID5, wie du schon richtig gesagt hast, eine 4er Penalty resultiert). Er bezieht sich dabei auf diese Quelle:
https://www.techrepublic.com/blog/the-enterprise-cloud/calculate-iops-in-a-storage-array/

In general, there are three performance categories related to IOPS: random performance, sequential performance, and a combination of the two
... RAID6's higher protection double fault tolerance is even worse in this regard, resulting in an "IO penalty" of 6 operations; in other words, plan on 6 IOPS for each random write operation.

Da CB aber nur sequentiell getestet hat, ist der Penalty entsprechend nur n-1.

 

[Nagilum99]

Das ist falsch. Denn diese Aussage gilt nur teilweise und dann auch nur bei kleinen Schreiboperationen, wo sich die Parität eines Stripes ändert und daher erst die Lese-Operationen stattfinden müssen. Bei großen Schreiboperationen, wo der Stripe völlig neu geschrieben wird, können alle Platten parallel die Daten vom RAID-Controller schreiben.

Und es gibt eine weitere Ungenauigkeit im Blogeintrag: er behauptet, die Viertelung der Leistung sei wegen der zusätzlichen Schritte (wenn die Parität eines Stripes sich ändert): 1. Lesen der Daten, 2. Lesen der Parität, 3. Schreiben der Daten, 4. Schreiben der Parität. Da 1 und 2 sowie 3 und 4 auf unterschiedlichen Platten stattfinden, können sie jeweils zeitgleich durchgeführt werden und haben dann bei einem entsprechenden Controller keine Viertelung der Leistung zur Folge.

Geringere Schreibleistungen bei RAID5/6 hängen also davon ab, wie hoch der Änderungsanteil in Stripes ist sowie von der Leistung des RAID-Controllers bei Paritätsberechnungen. Von mechanischen Faktoren wie den Zugriffszeiten mal ganz zu schweigen (der RAID-Controller weiss ja nicht, wann bei den einzelnen Platten der entsprechende Sektor unter dem Lese-/Schreibkopf vorbeirauschen wird).

Wohlgemerkt: Hierbei ist am Ende oft der Controller (oder deren Softwareumsetzung, wobei ich nach wie vor Anhänger von RAID in Hardware bin) wichtiger als die "Parity-Strafe".

Ergänzung (10. Februar 2021)

Der den Artikel geschrieben hat, hat vergessen zu erwähnen, dass er sich nur auf Random Writes bezieht (was bei einem RAID5, wie du schon richtig gesagt hast, eine 4er Penalty resultiert). Er bezieht sich dabei auf diese Quelle:
https://www.techrepublic.com/blog/the-enterprise-cloud/calculate-iops-in-a-storage-array/


Da CB aber nur sequentiell getestet hat, ist der Penalty entsprechend nur n-1.

CB hat einen Test mit einer großen Datei und mit einem "Ordner" gemacht - letzterer wird einem Mixed-IO entsprechen (der irgendwo auch dokumentiert sein dürfte)

 

[SmooTwo]

Wofür braucht man sowas?

 

[Sysworker]

Die Hardware von QNAP ist wie immer ganz schick, 4*2,5GBit/s könnten mir auch gefallen. Aber 1400€ für ein 2 Kern XEON - NoGo, in diesem Falle passt das Preis Leistungsverhältnis meiner Ansicht nach gar nicht.


Hier mal meine 1819+ per 10G angebunden, 32GB ECC RAM, 7*10TB im Raid6 & BTRFS. Kopiere 200GByte (große Dateien) auf eine 2TB WD Black SN850

Diagramme von HW-Info
Lesen von der DS1819+ ca 700MB/s, Schreiben ca. 600MB/s Crystal Disk Mark6 sagt 1100/700

Nimmt man einen verschlüsselten Orner schreibt die 1819+ mit 230MB/s und liest mit 330MB/s

 

[mgutt]

letzterer wird einem Mixed-IO entsprechen

Nein, nur simples sequentiellen Hochladen von unterschiedlich großen Dateien. Ich meine das war ein Spiel von Steam.

 

[Nagilum99]

Nein, nur simples sequentiellen Hochladen von unterschiedlich großen Dateien. Ich meine das war ein Spiel von Steam.

Wo ist dann der Sinn darin eine große Datei vs. einen Ordner mit einigen nicht ganz so großen Dateien zu übertragen?

 

[Skysnake]

Bei kleinen files hast du noch Metadaten Operationen und die block Size die du schreibst ist halt anders.

Der NAS Benchmark ist ja ok, aber warum man nicht fio oder sogar pio bzw ior/mdtest nimmt verstehe ich nicht. Da setzt man sich einmal hin macht sich die Tests und dann kann man das komplett automatisieren.

Die Tools gibt es ja.

https://github.com/hpc/ior
https://wiki.lustre.org/MDTest
https://wiki.lustre.org/IOR
https://github.com/storagesw/pio
https://www.thomas-krenn.com/de/wiki/Fio_Grundlagen

Für Computerbase wäre FIO sicherlich ausreichend, wer hat schon mehrere PCs dastehen und tritt das Filesystem dann auch wirklich. Single Client ist da eigentlich am relevantesten.

Da dann 64,128,512,1024,4k,16k,64k,1M,4M,16M als Blocksize nehmen und man sieht gut, was das Filesystem am Ende kann. DirectIO halt nicht vergessen wobei das jetzt viele Größen sind, damit man die unterschiedlichen Effekte durch mehrere Messwerte besser sieht.

Klar das was CB da mit der großen Datei und dem Spiel + Musik macht, ist näher an der Realität, aber man testet halt nicht nur das Filesystem sondern den gesamten Softwarestack inkl Caching. Deswegen nehmen sie ja auch nur 2GB RAM. Kann man machen, muss man mit directio aber nicht.

Und ja mir ist klar das man Benchmarks nur ungern umstellt, weil man dann wieder bei 0 Anfängt was die Vergleiche anbelangt. Deswegen würde ich das auch ne ganze Zeitlang zusätzlich machen. Der Aufwand sollte sich ja nach den ersten zwei drei Tests im Rahmen halten.

Btw damit könnte man dann auch gut zeigen, warum Hardware Raid mit Write Cache halt auch heute noch je nach Workload seine Berechtigung hat

Die Ausführungszeit hält sich ja in Grenzen bei so kleinen Systemen. Man muss ja nicht 10% von nem 10PB storage testen um zu zeigen, dass das Teil die Performance auch dauerhaft hält o_o

 

[luckysh0t]

Wenn bei diesem NAS das ZFS schon den gesamten Ram verspachtelt hat sich das Thema VMs/Docker auch erledigt

Wenn ZFS richtig implementiert ist, gibt es von anderen Diensten etc benötigten Ram aus seiner Obhut frei. Zumindest funktioniert das unter Solaris ZFS ohne Probleme - wie es bei open ZFS aussieht keine Ahnung..

@Wilhelm14 ​

Wenn es dich interessiert such mal nach folgenden Büchern

1. FreeBSD Mastery: ZFS ​

2. FreeBSD Mastery: Advanced ZFS ​

Ergänzung (11. Februar 2021)

SMB Multichannel

Kann nicht erst Windows 10 Pro for Workstations SMB Multichannel ?

Ergänzung (11. Februar 2021)

Aber sehr theoretisch.
Ich hab hier noch ein Openindiana mit 24 TB Raid-Z2 und 4 GB Ram laufen.... rennt problemlos und nicht mal langsam.

Die 1 GB pro 1 TB beziehen sich eigentlich auf die Nutzung von Dedup...Nur wird das gerne Unterschlagen.Ab 4 GB kann man mit ZFS flüssig arbeiten - wie du ja selbst angemerkt hast ^^.

 

[mgutt]

Kann nicht erst Windows 10 Pro for Workstations SMB Multichannel ?

Das geht in allen Edition ab Windows 8. Ist Teil von SMB3.

Da dann 64,128,512,1024,4k,16k,64k,1M,4M,16M als Blocksize nehmen und man sieht gut, was das Filesystem am Ende kann.

Mag ja sein, dass das im Enterprise Umfeld interessant ist, aber mich als Privatnutzer interessiert das gar nicht. Praxisnähe finde ich wichtiger.

Mir fehlt daher beim CB Test nur Mixed. Also Backup läuft und parallel lädt jemand etwas herunter.

Und es wäre ganz nett zu wissen wie lange es dauert x JPEGs in Thumbnails zu wandeln und bis zu welcher Bitrate ein Video verkleinert werden kann (für Surveillance und Filme schauen von unterwegs).

Was ich persönlich überflüssig finde, ist der Intel Performance Tester. Auch der CDM ist Quark, weil der wie oben gesagt nur den RAM testet. QDM testet auch nie die volle Dateigröße, also zb eingestellte "5GB", sondern erstellt nur eine entsprechend große Benchmark-Datei in der dann die Random-Writes weiter auseinander liegen.

Wo ist dann der Sinn darin eine große Datei vs. einen Ordner mit einigen nicht ganz so großen Dateien zu übertragen?

Gut. Nachdem das klar ist. Erklär mir das noch mal ^^

Für mich macht das einfach keinen Sinn, dass der sequentielle Transfer von mehreren unterschiedlich großen Dateien bei 10G schneller geht.

 

[Ravenstein]

@Frank :

Ich frage mich immer wieder, wieso ihr für sowas eure Kapazitäten "verschwendet"?! Immer wieder diese auffälligen NAS-Tests mit der "weil wir QNAP und Synology heißen können wir uns solche Preise herausnehmen"-Hardware, die in dem Fall ECC auch noch als Besonderheit hinstellen. Das könnte man auch für die Hälfte anbieten und sich immer noch dumm und dusslig verdienen... Man braucht dafür nicht Intel mit so einem Pseudo-Xeon.

Dann besetz doch die Marktlücke biete garantierte Updates für 6+ Jahre an und verdient dich reich!

 

[luckysh0t]

Das geht in allen Edition ab Windows 8. Ist Teil von SMB3.

Danke, hatte ich mit RDMA/SMB Direct verwechselt.

 

[mae]

Dennoch hätte ich Bauchschmerzen 1400€ leer auszugeben, und dann nur einen Dual Core Xeon zu haben. Klar, der ist schneller als die Celerons

Wenn Du's mit dem Celeron G4950 vergleichst, ungefaehr gleich schnell: Die Grundarchitektur ist wohl die gleiche (alles Skylake-Derivate); der Celeron hat etwas mehr Takt, dafuer weniger Cache, und dann gibt's noch ein paar Unterschiede bei den abgeschaltenen Features. Beim Xeon ist AVX eingeschalten, was bei einem NAS vielleicht sogar genutzt wird.

Der Preis ist schon happig, wir haben vor zwei Jahren etwas aehnliches (auch mit ECC-RAM und ZFS, aber mit 1Gb/s) mit einem Pentium G und einem Serverboard gebaut, kostete WIMRE EUR 600 inkl. Platten, aber halt eben auch Zeit.

 

[Skysnake]

Mag ja sein, dass das im Enterprise Umfeld interessant ist, aber mich als Privatnutzer interessiert das gar nicht. Praxisnähe finde ich wichtiger.

Naja, damit sieht ja jeder, wo er mit der Performance ca landen würde.

Wenn man ISOs also Backup ablegt ist es halt was anderes, als wenn das als storage für ne VM dienen soll.

Wenn ich spiele drauf ablegen verhält sich das anders als bei Bildern und die wieder anders als Videos.

Mich interessiert eher wie gut die Performance bei gewissen block Größen ist. Dann kann ich besser abschätzen wie brauchbar das Teil im real life ist. Gerade die kleinen Größen sind ja wichtig, weil da auc mal schnell 10x an Performanceunterschieden sichtbar werden.

Kleines Bespiel. Wir arbeiten mit Yum auf nem parallelen FS. Je nach tuning ist das "nur" 20-50% langsamer als lokale Platte. Mit den Falschen aber so Faktor 50-100... und bei ner Sache die 30-60s normal dauert ist das dann ECHT nen Unterschied. Am Ende war es nur die serielle Metadatenperformance....

3x das parallel gemacht war seriell kein Deut langsamer. Und selbst 5x war seriell kaum langsamer. Erst danach ging es in Saturation. Bringt dir halt nur nichts, wenn du statt ner Minute ne Stunde auf einen Install wartest...

 

[mgutt]

Das war kein NAS, sondern eine SSD direkt eingebunden in eine Server 2019 VM (auf Hyper-V). Das dürfte eine einfache Netzwerkfreigabe gewesen sein.

Ist doch das selbe. Eine SMB Freigabe. Und das Betriebssystem auf der die Freigabe erstellt wurde, nutzt automatisch den RAM als Cache.

Ergänzung (11. Februar 2021)

als storage für ne VM

Ja aber die VM greift doch lokal auf den Storage zu. Was nützt da ein Benchmark über das Netzwerk?

Wir arbeiten mit Yum auf nem parallelen FS

Ich sag ja Enterprise. Keine Privatperson oder SOHO, was nun mal die Zielgruppe ist, hat mehrere QNAP/Syno Desktop-NAS im Betrieb und trennt VMs und Storage auf. Und im Enterprise Bereich käme sicher auch keiner auf die Idee einen Storage mit 1G oder 2.5G anzubinden oder so eine mickrige CPU zu nehmen.

 

[thuering]

Nur und ausschließlich ZFS kann.

 

[Oberst08]

Hier stand Mist...

 

[luckysh0t]

Nur und ausschließlich ZFS kann.

Ist das eine Frage oder fehlt da die Hälfte ?

 

[Skysnake]

Ich sag ja Enterprise. Keine Privatperson oder SOHO, was nun mal die Zielgruppe ist, hat mehrere QNAP/Syno Desktop-NAS im Betrieb und trennt VMs und Storage auf. Und im Enterprise Bereich käme sicher auch keiner auf die Idee einen Storage mit 1G oder 2.5G anzubinden oder so eine mickrige CPU zu nehmen.

Ja aber den Erkenntnisgewinn gibt es trotzdem

Und so mancher würde ja gerne seine Games auf das NAS legen was im Allgemeinen ja nicht funktioniert. Da würde man dann auch sehen warum nicht.

 

[mgutt]

Und so mancher würde ja gerne seine Games auf das NAS legen was im Allgemeinen ja nicht funktioniert. Da würde man dann auch sehen warum nicht.

Das wird nicht funktionieren, da kein NAS SMB Multichannel von Haus aus aktiviert hat und ohne SMB Multichannel nutzt man ja nur einen Kanal. Aktuell arbeitet nur eine Person an SMB Multichannel (ich habe dazu mal alle Bugfixes verfolgt) und es gibt noch 2 bis 3 Problemchen zu lösen bevor es standardmäßig aktiviert wird. Ich tippe mal auf 3 bis 5 Jahre, da es ja auch eine Weile dauert bis die Hersteller die aktuellen Versionen implementieren.

Laut Intel hat der Xeon 32 Lanes, von denen gehen 16 an die 2 x8 Slots, weitere 8 an die M2. Es bleiben damit noch 8 übrig. Sind die 2,5Gb Netzwerkchips dann mit jeweils 2 Lanes angebunden (was deren Übertragungsrate drosseln würde), oder ist da irgendwo noch ein PCIe-Switch verbaut, der hier etwas Lastausgleich machen kann?

Eine interessante Frage. Um das herauszufinden müsste Frank mal iperf auf allen 4 Ports parallel anschmeißen. Ansonsten hätten wir ja hier sogar eine Mogelpackung.

PS @Skysnake iperf sollte man auch in so einen Test aufnehmen. Einfach damit man weiß ob die Ports überhaupt ordentlich angebunden sind. Schaut man sich die QM2 M.2 +10G Karte von Qnap an, dann weiß man nämlich, dass die da nicht wirklich Wert drauf legen.

 

[Skysnake]

Das wird nicht funktionieren, da kein NAS SMB Multichannel von Haus aus aktiviert hat und ohne SMB Multichannel nutzt man ja nur einen Kanal. Aktuell arbeitet nur eine Person an SMB Multichannel (ich habe dazu mal alle Bugfixes verfolgt) und es gibt noch 2 bis 3 Problemchen zu lösen bevor es standardmäßig aktiviert wird. Ich tippe mal auf 3 bis 5 Jahre, da es ja auch eine Weile dauert bis die Hersteller die aktuellen Versionen implementieren.

Muss man diese Versteifung auf SMB eigentlich verstehen? Sorry ist ne Ernst gemeinte Frage! Ich nutze zwar auch Windows aber quasi nur als Terminal und das wars. SMB ist ja nicht dafür bekannt schnell zu sein. Warum nicht NFS? V3 ist schnell und im lokalen Netz ok. Da kann man ja auch nach IP die Freigaben machen wenn man etwas Sicherheit will. Braucht dann zwar statische IPs, aber das kann jede FritzBox und ist sehr einfach konfiguriert.

Und wer mehr will nutzt halt nfsv4. Tendenziell etwas langsamer und Aufwändiger, aber es geht.

@Skysnake iperf sollte man auch in so einen Test aufnehmen. Einfach damit man weiß ob die Ports überhaupt ordentlich angebunden sind. Schaut man sich die QM2 M.2 +10G Karte von Qnap an, dann weiß man nämlich, dass die da nicht wirklich wert drauf legen.

Naja, das sollte aus dem Blockschaltbild eigentlich hervorgehen. Aber ja, schadet an sich nie etwas, wobei das dann schon ein echter Bug/Designfehler ist. Selbst für 10G braucht man eigentlich keine CPU Ressourcen mehr.