News QNAP TS-h3077AFU: All-Flash-NAS für 30 SSDs setzt auf Ryzen 7000

[Alpha.Male]

Das Teil ist irgendwie weder Fisch noch Fleisch ( sorry, für alle Veganer 🫢)..
Zielgruppe scheint wohl die Gopro 4k Heavy Home User zu sein /s

Ein Freund, der Baudokumentationen und Image- Filme macht ...hat sich auch von einem speziellen Systemhaus für Broadcast- "Zeuchs"..nen netten Server hinstellen lassen.
Kosted natürlich auch bisschen was.
Kann ihn mal demnächst nach seinen genauen Specs fragen, wenn ich mal wieder in die Heimat bin.😉

 

[Atkatla]

Dass ZFS die Möglichkeit eines Bitflips berücksichtigt und nochmals nachprüft (was auf die Performance geht), würde ich eher nicht erwarten (zumal man bei einem Dateisystem wie ZFS wahrscheinlich auch als Entwickler davon ausgeht, dass ohnehin ECC-RAM verwendet wird).

Natürlich würde das auf die Performance gehen, aber auch bei Rebuilds ist die Performance sekundär hinter der Datenintregrität. Und die ZFS-Entwickler gehen eben nicht davon aus, dass jedes ZFS-System ECC hat. Es ist empfohlen, aber nicht mandatory.

 

[foofoobar]

Diejenigen, wo die Integrität von Daten wichtig ist. Bei gute Archivierungssysteme und Datenbanken erwrartet man es. Dein Notepad sicher nicht. Selbst Winzip verwendet Prüfsummen um Inkonsistenzen zu erkennen.

Winzip korrigiert die die Daten nicht kaputt und meldet das alles super ist.

Ich stimme mit dir überein, dass man im professionellen Umfeld ECC verwenden sollte, wenn man es kann und es wirtschaftlich möglich ist. Aber es ist eben nicht immer kostenneutral (Ausrüster zahlen keine Preise bei geizhals). Muss halt jeder selber wissen, ob das eingesparte Geld die Ausfallwahrscheinlichkeit wert ist.

Wie viel Promille Mehrkosten sind das bei dieser Kiste, insbesondere wenn da noch ein ein paar SSDs drinstecken? Oder himmelst du die selbe schwäbische Hausfrau wie unser Finanzminister an?

Ergänzung (3. Februar 2024)

Klar ECC ist sinnvoll. Aber weil RAM eben nicht die einzige Fehlerquelle ist und ECC auch nicht alle Memory-Fehler entdecken kann, verweist er auch auf die Checksummen: "Additionally, use a filesystem that checksums your data, such as ZFS."
Wenn ECC Korruptionen generell verhindern könnte, bräuchte man diese nicht. Aber Korruptionen können viele Ursachen haben.

Mittlerweile sind in modernen Computern an fast allen Stellen Prüfsummen implementiert, nur beim RAM hat Intel das irgendwann als Feature entdeckt für das man extra Kohle abgreifen kann.

 

[Dr. MaRV]

@xexex
Drei Stück, mit Festplatten? Dann mal los! Mein Preis bezog sich auf das Nas inkl. Festplatten. Der Preis kann natürlich schwanken, je nach Typ und Größe. Außerdem geht es bei Redundanz nicht um Backup/Sicherheit sondern Verfügbarkeit. Von Backup habe ich nichts geschrieben.

 

[Banned]

Natürlich würde das auf die Performance gehen, aber auch bei Rebuilds ist die Performance sekundär hinter der Datenintregrität. Und die ZFS-Entwickler gehen eben nicht davon aus, dass jedes ZFS-System ECC hat. Es ist empfohlen, aber nicht mandatory.

Das ist alles Spekulation deinerseits bzw. was du irgendwo reininterpretierst.

Davon ausgehen, dass professionelle Systeme idR ECC-RAM verwenden (und ZFS wurde schließlich von Oracle nicht primär für Heim-Systeme entwickelt) und sagen, dass etwas obligatorisch für die Nutzung ist, sind zwei völlig unterschiedliche Dinge.

Alleine schon, dass die in dem zweiten Beitrag genannte Einstellung für die Prüfung der Daten im RAM nicht standardmäßig gesetzt ist, deutet doch wirklich stark darauf hin, dass der Performance-Impact hoch ist und dass dieser den Entwicklern eben nicht egal ist.

Und mal ganz davon abgesehen, um noch mal auf das Beispiel von mir zurückzukommen (ohne die eben genannte Einstellung):

Du hast bei einem Rebuild nun Disk2 verloren und hast 1-x-1. Korrekterweise müsste jetzt x=0 sein. Durch Bitflip ist es aber eine 1.
Um das noch mal zu checken, würde jetzt die Berechnung nochmals durchgeführt und eine 0 käme raus, die jetzt im RAM nicht kippt.
Wie weiß das Sytem jetzt deiner Meinung nach, welche Berechnung korrekt ist? Richtig, es weiß es nicht. Also müsste man noch eine dritte durchführen lassen, um dann mit einer sehr hohen Wahrscheinlichkeit sagen zu können, dass wohl doch 0 der korrekte Wert ist.
Das erscheint mir wirklich eher abwegig. Und mit ECC-RAM könnte man sicher sein, dass es keinen 1-Bit-Fehler gegeben hat und eine Berechnung würde reichen - statt drei, welche auch noch keine absolute Sicherheit geben!
(Mehr-Bit-Fehler wären natürlich trotzdem möglich, aber die sind noch mal deutlich unwahrscheinlicher).

Auch das deutet mMn ganz klar in die gleiche Richtung.

Ansonsten zeig mir Belege dafür, wie genau das ZFS-Dateisystem auf dieser Ebene arbeitet, dann können wir weiterreden.

Bis dahin bleibt es Spekulation und es ist besser, vom Worst Case auszugehen.

Weder du noch ich wissen im Detail, wie ZFS arbeitet.

PS: Es kann im geschäftlichen Bereich übrigens durchaus von Bedeutung sein, wie lange ein Rebuild dauert. Solange der Server das Rebuild macht, ist er nicht verfügbar für Nutzer oder kann nicht anderweitig arbeiten und du verdienst u.U. kein Geld. Deshalb ist Verfügbarkeit auch ein wesentliches Kriterium für den Einsatz von RAID.

 

[xexex]

Drei Stück, mit Festplatten? Dann mal los!

Festplatten kosten keine Millionen, wenn man sie nicht bei NetApp, Dell oder ähnlichen OEMs kauft und nein von einem Storage mit Festplatten hast nicht gesprochen. Am Rest der Aussage ändert es wenig, deine tolle Einzelkiste kann noch so viele Komponenten redundant haben, echte Redundanz gibt es mit zwei Blechen und Replikation.

 

[foofoobar]

Nicht nur 2 Bleche braucht es sondern 2 Standorte und wenn es ohne Admin beim Ausfall zügig weitergehen soll eigentlich auch einen dritten Standort um Split-Brain entscheiden zu können.

 

[Miuwa]

@Atkatla ,@Banned : Evtl. Redet ihr aneinander vorbei?

Es gibt im Internet immer wieder die Behauptung, ZFS wäre (im Vergleich zu anderen Dateisystemen) besonders ungeeignet für den Betrieb ohne ECC-RAM, was aber faktisch falsch ist und ich vermute, das ist die Diskussion an die Atkatla denkt (darum ging's ja auch in dem verlinkten Entwicklerpost).

Allerdings erhöht non-ecc ram natürlich ganz unabhängig vom Dateisystem die Gefahr von Datenkorruption, weil es eben (selbst mit ZFS) Zeitpunkte gibt, in denen die Daten nicht redundant vorliegen und/oder nicht durch ne Prüfsumme geschützt sind (z.B. wenn sie gerade erst berechnet oder empfangen werden, bzw. mit ihnen gearbeitet wird). Ich glaube darum geht's Banned.

Kennt eigentlich irgendwer Studien zur Zuverlässigkeit von DDR5 ram? Da ist ja ne eingeschränkte Form von ECC standardmäßig eingebaut (ich glaube der Speicherbus selber wird davon aber nicht erfasst).

 

[Blub0r2k]

Echt ok das Ding, bietet mehr Steckplätze als unsre FS3400 von Synology, allerdings laufen die schon klaglos.
Allerdings könne die Synologys auch SAS, was den Einsatz von schnelleren Cache SSDs zulässt.

Ich würde mir allerdings wenn dann gleich was mit NVMe holen, je nach Steckplätzen hätte das dann zwar 2 CPUs, allerdings kosten die SSDs zum Teil inzwischen weniger, bieten aber auch mehr Geschwindigkeit.

 

[Cmdr_Michael]

Ob jetzt ECC-RAM sinnvoll ist oder nicht, hängt vom Einsatzzweck aber. Wird die Kiste in einer Medienagentur genutzt, mit Terabyte an Videos, braucht man kaum ECC, alle paar Jahre mal ein Bit geflippt in ner Gigabyte großen Videodatei merkt niemand.
Wer ECC (oder viel RAM) will, kauft den doch eh nicht mit dem System, sondern separat. Alle Serveranbieter nehmen Mondpreise für RAM, da spart man viele tausend Euro, wenn man RAM selber kauft. Und dann kann man auch ECC-RAM nehmen, würde ich grundsätzlich im Firmenumfeld auch empfehlen. Fürs Homelab oder wenn das einfach ein Datengrab ist, kann man sich die etwaigen Mehrkosten auch sparen.

 

[Dr. MaRV]

@xexex
Tja, es bezog aber nunmal auf ein System inkl. Platten und 5 Jahre Support mit 4h SLA.
Ein bißchen Redundanz ist besser als keine. Große Buden lassen sich einen Cluster über mehrere Brandabschnitte aufbauen. Kleinere Buden und Außenstellen begnügen sich mit einem HA System in einem, oder zwei Chassis. Stirbt die Kiste in deiner Zeichnung steht der Betrieb trotzdem still. Da passiert kein automatischer failover, weil deine Redundanz einfach nur darin besteht irgendwo hin zu spiegeln und dann im Bedarfsfall das DR Ziel zu mounten. Man muss manuell eingreifen. Das ist bei echten HA Systemen, seien sie nun in einem, oder zwei Chassis nicht der Fall. Sobald ein Controller Probleme meldet übernimmt der andere die Aufgabe des defekten. Bei Clustern an verschiedenen Standorten, oder Brandabschnitten passiert zwar der Cluster Failover automatisch, wie beim HA System an/in einem Standort (Rack) auch, der Site Failover, den es bei HA Systemen an/in einem Standort nicht gibt, hingeben nicht. Will man diesen automatisieren kann man sich mit einer ClusterLion behelfen, die jedoch nicht bei allen Herstellern Funktioniert. Andernfalls ist auch hier ein manuelles Eingreifen erforderlich um sicherzustellen, dass vor einem Site Failover die tote Seite auch tatsächlich tot ist.
Also, ein bißchen Redundanz (zwei Controller mit eigenen Netzwerkports, CPU, RAM, Plattenverbindung, etc. und vier Netzteilen, ist besser als gar keine Redundanz. Das hat zur Folge dass solche Geräte über viele FRUs verfügen und ein Service meist ohne DT möglich ist, ja man muss nicht mal ein anderen Ziel mounten.

 

[xexex]

Tja, es bezog aber nunmal auf ein System inkl. Platten und 5 Jahre Support mit 4h SLA.

Es bleibt eine völlig unsinnige Aussage, da ich bei "Platten" zwischen 1000€ und 100000€ investieren kann. Dann erzähle uns doch mal was deine Lösung so ohne jegliche Platten und Support kostet, damit überhaupt verglichen werden kann.

Kleinere Buden und Außenstellen begnügen sich mit einem HA System in einem, oder zwei Chassis.

Nochmal! Deine Behauptung war, man bräuchte eine Kiste mit mehreren Controllern für eine Redundanz, was völliger Blödsinn ist. Ich habe dir auch bereits erklärt, dass man für die Redundanz nicht einmal die Unterstützung vom Storage System braucht, auch wenn QNAP hier selbst eine einfache Lösung bietet.

Zwei Kisten über Storage Spaces Direct konfigurieren, die VMs replizieren lassen und fertig. Dafür brauche ich keine Storage Systeme zum Preis eines Kleinwagens oder wie bereits gesagt, nicht alles was hinkt ist auch ein Vergleich, in deinem Fall ganz besonders. In der IT gibt es nicht "die" Lösung, sondern für jedes Ziel mindestens 10 Verschiedene, das QNAP System wäre definitiv eine davon.

Nichtsdestotrotz, auch Dual Controller NAS Systeme hat QNAP im Programm. Spielen aber schlichtweg in einer ganz anderen Preisliga und sind für mich keine Redundanz sondern nur rausgeworfenes Geld.

 

[Dr. MaRV]

Es bleibt eine völlig unsinnige Aussage, da ich bei "Platten" zwischen 1000€ und 100000€ investieren kann. Dann erzähle uns doch mal was deine Lösung so ohne jegliche Platten und Support kostet, damit überhaupt verglichen werden kann.

Es gibt diese Geräte nur mit Platten, der endgültige Preis richtet sich nach Art und Kapazität.
Jede Platte verfügt über zwei Datenpfade und weist dadurch andere Anschlüsse auf, als das was in Qnap, Synology und Heimrechnern Anwendung findet.

Deine Behauptung war, man bräuchte eine Kiste mit mehreren Controllern für eine Redundanz, was völliger Blödsinn ist. [...]
In der IT gibt es nicht "die" Lösung, sondern für jedes Ziel mindestens 10 Verschiedene, das QNAP System wäre definitiv eine davon.

Was meine Aussage zu einer weiteren Lösung macht und nicht zu Blödsinn. Kleine HA-Systeme bestehen aus zwei separaten Systemen, welche auf die selben Platten zugreifen und sich dabei ein Gehäuse teilen.
Sämtliche Komponenten und Datenpfade sind mind. doppelt vorhanden, womit Redundanz gegeben ist und erfüllt wird, ohne ein zweites eigenständiges System in einem extra Gehäuse mit weiterer Netzwerkverbindung zur Replikation daneben stellen zu müssen.

Egal, du hast recht und ich meine Ruhe.

 

[qu1gon]

Achtung Ironie :-) ... ist doch ne Totgeburt, gibt ja keine bezahlbaren SSDs in entsprechender Größe.
Wird ja nur noch teurer....

 

[Banned]

Evtl. Redet ihr aneinander vorbei?

Ich glaube nicht.

Es gibt im Internet immer wieder die Behauptung, ZFS wäre (im Vergleich zu anderen Dateisystemen) besonders ungeeignet für den Betrieb ohne ECC-RAM, was aber faktisch falsch ist

Ich habe nie das Gegenteil behauptet.

Ich habe nur darauf hingewiesen, dass ZFS ECC-RAM eben nicht überflüssig macht bzw. es auch bei ZFS Szenarien gibt, wo ECC-RAM eben sehr sinnvoll ist.

Allerdings erhöht non-ecc ram natürlich ganz unabhängig vom Dateisystem die Gefahr von Datenkorruption, weil es eben (selbst mit ZFS) Zeitpunkte gibt,

Genau. MMn eben z.B. ein Rebuild. Hier sind wir uns dann eben uneinig, wie genau ZFS da funktioniert. Da es höchstwahrscheinlich keiner von uns genau nachweisen können wird, ist es m.E. besser vom Worst Case auszugehen, und ich denke auch logisch spricht einiges dafür, dass es so ist, wie ich geschrieben habe (z.B. dass die genannte Extra-Prüfung der Daten im RAM standardmäßig nicht aktiviert ist).

Kennt eigentlich irgendwer Studien zur Zuverlässigkeit von DDR5 ram?

Und was sollten diese Studien aussagen?

Es dürften halt keine 1-Bit-Fehler im RAM selbst auftreten, da on-Die-ECC. Bleiben aber auch noch die Bit-Fehler zwischen CPU und RAM - die können aber bei Systemen ohne vollständigen ECC-Support eben gar nicht ermittelt werden. Ich bin mir nicht mal sicher, ob man bei on-Die-ECC überhaupt einsehen kann, wie viele Fehler im RAM aufgetreten sind und korrigiert wurden.

Das einzig Interessante wäre m.E., ob DDR5 aufgrund der hohen Speicherdichte (deshalb auch on-Die-ECC) eher zu Multi-Bit-Fehlern neigt.

 

[Miuwa]

Ich habe nie das Gegenteil behauptet.

Deshalb ja meine Vermutung, dass ihr aneinander vorbei redet.

die können aber bei Systemen ohne vollständigen ECC-Support eben gar nicht ermittelt werden.

Natürlich kann ich das ermitteln. Einfach in dem ich immer wieder bekannte Pattern in den Ram schreibe und wieder auslese.

 

[Banned]

Natürlich kann ich das ermitteln. Einfach in dem ich immer wieder bekannte Pattern in den Ram schreibe und wieder auslese.

Hast du recht. Man könnte manuell prüfen lassen, ob das Pattern nach Transfer von oder zur CPU noch identisch ist.
Daraus könnte man schlussfolgern, ob eine schnellere Anbindung hier eher Bitflips produziert; vielleicht meintest du das ja.

 

[xexex]

Was meine Aussage zu einer weiteren Lösung macht und nicht zu Blödsinn.

Blödsinn ist zu behaupten, man könnte eine Redundanz nur mit einem Dual Controller System allein herstellen. Sicher, man reduziert dabei die Wahrscheinlichkeit für einen Ausfall durch einen defekten Controller, bezahlt für solche Konfigurationen aber oft das doppelte bis dreifache und alle Komponenten sind dann noch immer in einem Blech. Wie du schon selbst sagst, brauchst du dafür auch noch Dual Port SSDs was der Preis gerade bei höheren Kapazitäten ebenfalls weiter in die Höhe treibt.

Meine 25 Jahre Erfahrung in diesem Bereich haben gezeigt, dass oft gerade solche Konfigurationen mehr Probleme mitbringen als sie lösen. Wir hatten sogar mal eine Serie an Servern, bei denen eine Platine die für die Umschaltung von redundanten Netzteilen sorgen sollte, wie die Fliegen gestorben ist. Die wenigsten Dual Controller Systeme sind so aufgebaut, dass sich dort in einem Gehäuse tatsächlich zwei völlig voneinander unabhängige Systeme befinden und spätestens an der Backplane, sind die letztlich doch miteinander verbunden.

Der springende Punkt und da kommen wir zurück zu meiner bereits getätigten Aussage. In praktisch allen Fällen fährst du heutzutage mit zwei Blechen besser, als mit irgendwelchen überteuerten Systemen die dir bestenfalls eine etwas höhere Ausfallsicherheit liefern können, dafür aber mit erheblichen Zusatzkosten verbunden sind. Skalierst du die Lösung noch höher, kannst du dir die horrenden Kosten für irgendwelche schwachsinnigen 4h 24/7 Supportverträge noch dazu sparen, stattdessen stellst du einfach zusätzliche Cold Standby Systeme dahin und hast ewig Zeit, für einen Ersatz oder Neubeschaffung.

Wir leben im Jahr 2024 und nicht mehr Jahr 2000, als man Redundanzen noch auf Gerätebasis herstellen musste. Bei meinem aktuellen Arbeitgeber sind unsere Storage Systeme auf der halben Welt verteilt, das lokale Storage für VMs immer in mehreren Räumen auf mehreren Blechen und wenn etwas ausfällt fällt es nicht einmal auf. Dafür braucht man heutzutage keine sechsstelligen Beträge mehr auszugeben, Lösungen wie DFS, Storage Spaces Direct oder vSAN gibt erst nicht erst seit heute und alles was man dafür benötigt, sind entsprechende Bleche in die man Platten stopfen kann und die man per SAS, iSCSI, FC oder ähnlichem, an die Server anbinden kann.

Eine simple Rechnung, obwohl auch hier der Vergleich hinkt, das Storage System mit zwei Controllern kostet bei QNAP schlappe 16000€ und das dürfte schon zu den günstigeren zählen. Eine in meinen Augen völlig unsinnige Investition, wenn ich dafür drei von den vorgestellten SAN Systemen kaufen kann, auch wenn hier tatsächlich zwei weitgehend autarke Controller zum Einsatz kommen.

https://geizhals.de/qnap-es2486dc-2142it-96g-a2223743.html

Fliegt mir hier die Backplane um die Ohren, verursachen die Platten irgendwelche Probleme oder wenn es schlichtweg ein Softwareproblem mit den Controllern gibt, was ich alles schon mehr als einmal hatte, ist diese vermeintliche "Redundanz" für die Katz.

 

[Weyoun]

RAM ohne ECC, was für Trottel arbeiten eigentlich bei QNAP?

Die Besten! (Zitat aus "Kevin allein in New York").
In dieser Preisklasse sollte das schon eine Selbstverständlichkeit sein, ECC zu verbauen

 

[Nagilum99]

Für 30x NVMe fehlen schlicht die PCIe-Lanes, außer man nutzt Multiplexer, was aber für den Durchsatz nix bringt.
Für SATA sind die Lanes vorhanden:

Und was haben wir vergessen? Richtig: SAS 12 (24)G.
Nicht jeder will etliche von den Dingern verbauen um 100G auslasten zu können.
Aber sowohl die limitierung auf S-ATA 6G, als auch die verbauten 2,5G Ports signalisieren, dass die Zielgruppe eher im unteren Segment bzw. das Ding als Sekundärer Massenspeicher angedacht ist.

Bei ZFS ist das fehlen von ECC sicher fagwürdig.

Ok, großartig. Aber wie relevant ist solch ein Produkt für den Normalo wie mich und 99,9% der übrigen CB-Besucher?

Ignorier es doch einfach, statt deine Zeit damit zu verschwenden das hier zu fragen und nach Antworten zu suchen.

Ergänzung (5. Februar 2024)

Für 18000 Euro bekommt man mit RAID1z1 über 100 TB SSD Speicherplatz.

Finde ich preislich jetzt gar nicht so attraktiv, wenn man schaut, was z.B. eine MSA2062 als full-flash kostet.
Die ist intern komplett redundant und hochverfügbar.

Dazu noch nicht mal erweiterbar. Es fehlen 100 GbE Ports für zusätzliche Shelves. Clustering ist ebenfalls nicht möglich, nur Kupfer onboard, kein zweiter Controller. Also keine Redundanz wenn die Kiste Panic schiebt. Auf Enterprise machen und Consumerkram abliefern.

Hast du den Artikel gelesen oder wolltest du nur draufschlagen und dich lächerlich machen?
Sowohl im Artikel als auch aus den Bildern hättest du wissen müssen: Es sind Erweiterungsslots vorhanden - und ab Werk leer. Explizit z.B. für 100G.
Üblicherweise beherrschen die Kisten RSYNC o.ä. methoden um zumindest zyklisch einen Sync auf ein Backupsystem zu machen.

Aber nicht nur, dass du weder gelesen noch geschaut hast: 100G für zusätzliche Shelves? Da fehlt wohl mehr Know-How.
Shelves bindet man üblicherwiese über PCIe (unüblicher) oder SAS (üblicher) an, ggf. auch FC.
Ich wüsste keinen der da einen Umweg über 100G hampelt.