8 TB Datacenter SSDs: Samsung PM1733 vs. Intel D7 5510 - Qual der Wahl

[tackleberry]

Servus

Nachdem ich nun monatelang gar nicht er an einer gesuchte Datacenter SSD ab 8 TB gekommen bin, wartet nun eine Samsung OEM Enterprise SSD PM1733 7.68TB, U.2 darauf von mir abgeholt zu werden und auch die Intel D7 5510 soll nächste Woche für mich verfügbar sein.

Nun frage ich mich welche von den beiden ich nehmen soll, ob nicht sogar beide und für welchen Einsatzwerk welche SSD besser ist. Ich hatte auch schon mit dem Gedanken gespielt eine Intel Optane PX5800 1.6 TB als System SSD anzuschaffen aber die sind mir dann doch zu teuer bezüglich Preis pro TB vs. Mehrnutzen.

Ich überlege im Grunde alle M.2 SSDs aus dem System zu werfen und nur noch Datacenter SSDs zu verwenden. Auch weil dann eine weitere Hitzequelle vom Mainboard verschwindet (Die aktuelle System SSD, eine 980 Pro OEM, gurkt trotz Heatspreader die ganze Zeit bei 50°C im Idle rum). Vorteil für Intel ist auf jeden Fall Endkunden Support mit Treibern, Firmware etc. Von Samsung gibt es garnichts für Endkunden (auch keine Garantie) weil die SSDs eigentlich nur für OEM und deren Kunden gedacht sind. Die Garantie ist mir aber eh egal, da mir bisher noch keine SSD oder HDD im Betrieb verreckt ist. Der Chipsatz würde vermutlich auch entlastet werden. Der war bevor ich dort einen Wasserkühlblock montiert habe vorher immer bei mindestens 60°C.

Nehmen wir an ich würde beide einfach mal beide beschaffen. Wie könnte ich testen welche SSD besser als System SSD und welche besser als Daten SSD geeignet ist?

Ich hätte gerne auf der System SSD so geringe Zugriffszeiten wie möglich (daher auch Optane geprüft). Wenn ich sogar auf 2 SSDs im System reduziere, würden dort auch größere Dateien (ProRes Video Export via Adobe Premiere) sequentiell geschrieben werden (mit 2 GB/s aufwärts). Die SSD darf also nicht einbrechen nur weil da mal gerade 100-500 GB Dateien am Stück geschrieben werden. Würde ich da einfach HD Tune laufen lassen und gucken wann der Speed einbricht bzw. damit die Zugriffszeiten testen?

Bei der Daten SSD wären Zugriffszeiten nicht so wichtig. Wichtiger ist sequentieller Lesespeed wenn ich mehrere hundert GB große ProRes Video Dateien einlese. Das beeinflusst nämlich wie schnell ich die Tonspuren in Premiere sehe und wann ich endlich mit Cutten anfangen kann. auf diese SSD würden auch seqentiell geschrieben werden, aber maximal mit 500 mb/s. Dafür aber auch mal gerne 1 TB am Stück.

Welche Nachteile bezüglich Latenz und Bandbreite sind eigentlich zu erwarten, wenn die SSDs an den Chipsatz des X570 Mainboards statt der CPU angebunden werden?

Datenblätter des SSDs gibt es hier:
Intel
Samsung

Spoiler: Datenblätter aggregiert

Feature	Samsung 1.92 TB drive	Samsung 3.84 TB drive	Samsung 7.68 TB drive	Samsung 15.36 TB drive	Intel 7.68 TB
Interface	PCIe 4.0 x4*	PCIe 4.0 x4*	PCIe 4.0 x4*	PCIe 4.0 x4*
Capacity	1.92 TB	3.84 TB	7.68 TB	15.36 TB	7.68TB
Lithography Type	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	144L TLC 3D NAND
Endurance	3504 TB	7008 TB	14,016 TB	28,032 TB
(total bytes written)
Endurance (drive	1 DWPD	1 DWPD	1 DWPD	1 DWPD
writes per day for 5 years)
Data reliability	< 1 in 1017 bits read	< 1 in 1017 bits read	< 1 in 1017 bits read	< 1 in 1017 bits read
(UBER)
MTBF	2,000,000 hours	2,000,000 hours	2,000,000 hours	2,000,000 hours
Performance & Power - PCIe 4.0 host interface
Random Read (100% Span)					930.000​
IOPS reads (4 KB blocks)	800.000​	1.500.000​	1.450.000​	1.450.000​
Random Write (100% Span)					190.000​
IOPS writes (4 KB blocks)	100.000​	135.000​	135.000​	135.000​
Sequential Bandwidth - 100% Read (up to)					7000 MB/s
Sequential read rate (128 KB blocks)	7000 MBps	7000 MBps	7000 MBps	7000 MBps
Sequential write rate (128 KB blocks)	2400 MBps	3500 MBps	3500 MBps	3500 MBps
Latency - Read					84 µs
Latency - Write					16 µs
Latency (random R/W)	100 µs / 25 µs	100 µs / 25 µs	100 µs / 25 µs	100 µs / 25 µs
Latency (sequential R/W)	220 µs / 80 µs	220 µs / 80 µs	220 µs / 80 µs	220 µs / 80 µs
Power - Active					<18W
Power - Idle					<5W
Typical power (R/W)	15 W / 15 W	20 W / 20 W	20 W / 20 W	20 W / 22 W
Performance & Power - PCIe 3.0 host interface

Ich nehme am an das Angaben für Read/Write, IOPS und Zugriffszeiten nicht genormt sind und man die Datenblätter nicht direkt vergleichen kann, oder? Mich irritiert vor allem, dass die Samsung 50% mehr IOPS beim Lesen hat aber 33% weniger beim Schreiben. Die Intel wird allgemein mit niedrigeren Zugriffszeiten angegeben. Bin über jeden Input weiter bevor ich hier eine 1500 Euro SSD rumliegen habe, auf die ich eigentlich keinen Bock habe.

 

[madmax2010]

Die MB/s zahlen erreicht man i.d.r fast, indem man eine einzelne Riesendatei kopiert.
Bei den IOPS optimieren die Hersteller alle ein bisschen

Die Optane SSDs sind für extrem latenzempfindliche Anwendungen wundervoll - In deinem Fall sehe ich da wenig Mehrwert.

Beides sind excellente SSDs und beide sind derzeit extrem schwierig zu kaufen. Da du gerade Zugriff auf beide hast: nimm die günstigere/gb

 

[tackleberry]

@JBG Hatte übrigens mal in einem anderen Thread einen Crystalmark Benchmark der PM1733 gepostet:

 

[Alexander2]

Wenn die billig genug ist würde ich die optane ssd nehmen, ist in haltbarkeit und latenzen jeder nand ssd überlegen, aber auch sauteuer.

(Hab nicht alles gelesen)
Das was da bei dem Benchmark am meisten relevant ist sind Zeile 2 (bei Riesigen Dateien) und Zeile 4 (vielen kleinen Dateien.)

Über Queue Depth 1 also Q1 wirst du realistisch nie herauskommen - außer du betreibst vielleicht nen Server.

 

[tackleberry]

Storage Review hat nun endlich das D7 5510 Review online sehe ich gerade. Sogar gegen die neue Optane 5800X.
https://www.storagereview.com/review/intel-storage-performance-windows-server

Die haben zwar acht D7 5510 im Raid welche bei 128K 16 Thread 16 Queue 54 GB/s im Lesen und 32,7 GB/s beim Schreiben schaffen. Das sind dann pro SSD 6,75 GB/s im Lesen und 4,1 GB/s im Schreiben. Das liest sich schon mal sehr nice.

Wenn die billig genug ist würde ich die optane ssd nehmen, ist in haltbarkeit und latenzen jeder nand ssd überlegen, aber auch sauteuer.

(Hab nicht alles gelesen)

Optane ist erstmal raus. Ich brauche mehr Platz.

 

[konkretor]

Beachte bitte bei den OEM SSD, das es schwerer sein könnte an eine Firmware zu kommen.
Falls du selber der Integrator bist, spielt das keine Rolle. Als Endkunde im Privat Umfeld könnte das zum Problem werden. Das Samsung Tool geht mit OEM teilen auch nicht.

 

[0x7c9aa894]

Bei den vielen SSD frage ich mich nur, wo Du die anschließen willst?
So ein Ryzen hat nur 24 PCIe Lanes.

• 16 für die GPU,
• 4 für die M.2 -> Adapter -> U.2
• 4 für den Chipsatz, incl 2. M.2 übrige PCIe slots., Netzwerk

 

[Salierfähig]

Welche Nachteile bezüglich Latenz und Bandbreite sind eigentlich zu erwarten, wenn die SSDs an den Chipsatz des X570 Mainboards statt der CPU angebunden werden?

Wenn ich das richtig verstehe, dann ist das von Brett zu Brett unterschiedlich. Hardwareluxx hat beim Asrock Taichi X570 erhebliche Unterschiede festgestellt und da sind die Chipset Lanes sogar um einiges schneller als die CPU Anbindung. Hat wohl mit der internen Anordnung der Lanes zu tun oder so:



So kann es also gehen, wenn man nicht selbst experimentiert und einfach von "CPU Lanes > Chipset Lanes" ausgeht (wobei das generell zu stimmen scheint).

Das X570 Unify haben die nicht im Test, dafür aber das X570 ACE und die beiden ähneln sich eigentlich stark:



Beim ACE kann man den Unterschied als Messtoleranz abstempeln.
Unterm Strich kommst du beim Einbau wohl nicht darum herum, die verschiedenen Slots mit den SSDs zu testen. Nur so kannst du sicher sein.

 

[0x7c9aa894]

eine 980 Pro OEM, gurkt trotz Heatspreader die ganze Zeit bei 50°C im Idle rum

Die SSDs sollen so heiß sein. Meine PM983 hat auch 55C.
Das hat damit zu tun, wie lange die Daten bei ausgeschalteter SSD erhalten bleiben. Je wärmer die SSD beim Schreiben, desto länger halten die Daten bei "warmer" Umgebung.

 

[tackleberry]

Bei den vielen SSD frage ich mich nur, wo Du die anschließen willst?
So ein Ryzen hat nur 24 PCIe Lanes.

• 16 für die GPU,
• 4 für die M.2 -> Adapter -> U.2
• 4 für den Chipsatz, incl 2. M.2 übrige PCIe slots., Netzwerk

Die M.2 SSDs fliegen raus. Die U.2 werden per Adapter an den M.2 Anschluss angesteckt. Dann ist man auch nicht mehr auf 2-4 TB limitiert und braucht weniger SSDs.

Ergänzung (17. April 2021)

Beachte bitte bei den OEM SSD, das es schwerer sein könnte an eine Firmware zu kommen.
Falls du selber der Integrator bist, spielt das keine Rolle. Als Endkunde im Privat Umfeld könnte das zum Problem werden. Das Samsung Tool geht mit OEM teilen auch nicht.

Ist bekannt. Am wichtigsten ist mir aber erstmal Leistung in der Hoffnung, dass alles läuft.

Ergänzung (17. April 2021)

Die SSDs sollen so heiß sein. Meine PM983 hat auch 55C.
Das hat damit zu tun, wie lange die Daten bei ausgeschalteter SSD erhalten bleiben. Je wärmer die SSD beim Schreiben, desto länger halten die Daten bei "warmer" Umgebung.

Könnte Du mal nen Benchmark von dem Ding posten? CrystalMark vielleicht und HD Tune? Wie hast Du die angeschlossen?

 

[tackleberry]

Die SSDs sollen so heiß sein. Meine PM983 hat auch 55C.
Das hat damit zu tun, wie lange die Daten bei ausgeschalteter SSD erhalten bleiben. Je wärmer die SSD beim Schreiben, desto länger halten die Daten bei "warmer" Umgebung.

Hier übrigens mal der Vergleich zwischen der 2 TB Samsung 980 Pro OEM direkt zwischen CPU und GPU

Spoiler: Fotos

und jener unter der GPU

Unter Last kommen die dann locker auf 70°C. Danke übrigens auch für den ganzen Input, den ich per DM bekomme.

 

[JBG]

@tackleberry

Bezüglich der von mir geschilderten Auffälligkeiten (WHEA 17-Fehler am CPU-PCIe-M.2-Slot, WENN im UEFI des Mainboards PCIe AER aktiviert wird, was standardmäßig deaktiviert ist), laufen meine Untersuchungen noch:

Eine Zusammenfassung:

• Die WHEA 17-Fehler treten nicht am X570-M.2-Slot auf;
  
  
• Bei einem anderen Mainboard (ASUS Pro WS X570-ACE statt ASRock X570 Taichi Razer Edition) treten die WHEA 17-Fehler beim CPU-PCIe-M.2-Slot mit den gleichen Delock-Adaptern, Kabeln und Icy Dock 4 x U.2-Backplane dagegen NICHT auf, auch wenn auch hier PCIe AER aktiviert wird;
  
  
• Versuche gerade noch ein zweites Exemplar des ASRock X570 Taichi Razer Edition in die Finger zu bekommen, eventuell ist der CPU-PCIe-M.2-Slot des ersten fehlerhaft, das wäre "lustig"...
  
  
• Da es keine M.2-zu-SFF-8673-Kabel aus "einem Guss am Stück" gibt, wäre es eventuell noch testenswert, ob man die notwendige zusammengesteckte Kabel/Adapter-Kombination nachträglich zusätzlich abschirmen kann;

 

[Salierfähig]

@JBG Hat ICY DOCK noch irgendwas intelligentes zur Thematik gesagt? Es hört sich nicht danach an, aber ich frage mal trotzdem. Sehr interessante Tests, man muss am Ende halt immer selbst Hand anlegen und kann sich bei so exotischer Technik auf nichts verlassen, leider.

 

[madmax2010]

@JBG Es gibt eine maximale laenge fuer PCIeverbindungen. Fuer PCIe4 sind die etwas kuerzer als bei PCIe3, was wiederum keine so langen leitungen wie PCIe2 erlaubt.
Aber danke fuer den Post - SFF-8673 hatte ich bisher nicht auf dem Schirm. Wollte kurz rufen, da gehen doch gar keine PCIe Verbindungen durch.. aber das waere SFF-8643/8644 gewesen.

Da du wegen der Schirmung fragst: SFF-8673 ist ungeschirmt. SFF-8674 ist das gleiche in geschirmt, allerdings fuer externe Anschluesse gedacht. Das ist wie bei SFF-8643/8644

Mich irritiert vor allem, dass die Samsung 50% mehr IOPS beim Lesen hat aber 33% weniger beim Schreibe

IOPS sing bei deinem Usecase nicht unbedingt die wichtigere metrik.
1. Bist du bei diesen SSDs in etwa eine Groessenordnung flinker, als alles im Consumermarkt
2. Du verschiebst vor allem grosse zusammenhaengende Dateien. Das ist jetzt nicht mega IO intensiv (ist lang her, dass es hier mal so herum war )

 

[JBG]

@JBG Hat ICY DOCK noch irgendwas intelligentes zur Thematik gesagt? Es hört sich nicht danach an, aber ich frage mal trotzdem. Sehr interessante Tests, man muss am Ende halt immer selbst Hand anlegen und kann sich bei so exotischer Technik auf nichts verlassen, leider.

Bisher leider noch nichts außer:

vielen Dank für Ihre detaillierte Nachricht.

Ich habe das Problem an unsere zuständigen Produktmanager weitergeleitet und hoffe hier auf eine baldige Antwort.

 

[drmaniac]

Interessant, hatte das mit U2 gar nicht auf dem Schirm....

Ich fand es doof, das 8TB SSDs nur als QLC verfügbar sind, und die OEMs mit 7.x gab es nur mit Sata...

Mit den U2 könnte man also mit Adapter doch sehr große SSDs mit "gewohnter" M.2 Speed nutzen...

Auch interessant:

https://geizhals.de/kioxia-cd6-r-da...cd61lul15t3-a2351220.html?hloc=at&hloc=de&v=e

Knapp 16TB
Schnittstellen:.U2 NVMe PCIe 4.0 x4 + U.3 NVMe PCIe 4.0 x4

Speicherkapazität:15360 GB

Lesen (max.):5000 MB/s

Schreiben (max.):4000 MB/s

IOPS Lesegeschwindigkeit (max.):750000 IOPS

IOPS Schreibgeschwindigkeit (max.):30000 IOPS

 

[madmax2010]

M.2 Speed

U.2, U.3 und M.2 sind nur ein Formfaktor und haben nicht viel mit Geschwindigkeit zu tun.
Was du meinst ist NVMe (via PCIe) und das ist halt einfach kompatibel, richtig.

Wobei ich bei der von dir verlinkten nicht von gewohnter geschwindigkeit sprechen wuerde . Je nach Anwendungsfall ist die 6-8x so schnell wie eine aktuelle high-end Consumer SSD

 

[Salierfähig]

Wobei ich bei der von dir verlinkten nicht von gewohnter geschwindigkeit sprechen wuerde . Je nach Anwendungsfall ist die 6-8x so schnell wie eine aktuelle high-end Consumer SSD

Da sprichst du ein wahres Wort. So ziemlich jede Enterprise SSD knallt eine Consumer SSD so richtig weg. Besonders beim Schreiben mehrerer hundert GB läuft der SLC-Cache einer Consumer SSD aus und es geht bergab. Eine Enterprise SSD hingegen ist kein Blender und schreibt durchweg konstant. Beim Dauerbetrieb, wofür diese SSDs ausgelegt sind, gäbe es auch gar keine Möglichkeit, einen SLC-Cache wieder aufzufrischen und deshalb gibt es das erst gar nicht bei Enterprise Modellen.
Der Knaller ist noch, dass so eine 8TB Enterprise SSD mit TLC teilweise günstiger zu haben ist als eine 8TB M.2 mit ausschließlich QLC (im Moment). Außerdem hat Western Digital mit der SN640 ein Modell rausgebracht, welches vom Bestpreis her mit SATA SSDs mithalten kann. In der Hinsicht sind diese U.2 Modelle schon fast ein Geheimtipp, wenn man sich mit der Thematik befassen möchte und mit den Tücken leben kann.

 

[drmaniac]

U.2, U.3 und M.2 sind nur ein Formfaktor und haben nicht viel mit Geschwindigkeit zu tun.
Was du meinst ist NVMe (via PCIe) und das ist halt einfach kompatibel, richtig.

Wobei ich bei der von dir verlinkten nicht von gewohnter geschwindigkeit sprechen wuerde . Je nach Anwendungsfall ist die 6-8x so schnell wie eine aktuelle high-end Consumer SSD

Welche Kombination an Adaptern und Kabeln brauche ich denn ganz konkret, um diese SSD

https://geizhals.de/kioxia-cd6-r-da...cd61lul15t3-a2351220.html?hloc=at&hloc=de&v=e
an einem M.2 Anschluss angeklemmt zu bekommen?

Werde aus den Adaptern die ich zb auf Amazon finde nicht ganz schlau...

 

[massaker]

Welche Kombination an Adaptern und Kabeln brauche ich denn ganz konkret, um diese SSD

https://geizhals.de/kioxia-cd6-r-da...cd61lul15t3-a2351220.html?hloc=at&hloc=de&v=e
an einem M.2 Anschluss angeklemmt zu bekommen?

Werde aus den Adaptern die ich zb auf Amazon finde nicht ganz schlau...

Das ist eine PCIe4.0-fähige NVMe-SSD. Um bei einer PCIe4.0 Übertragung auf der sicheren Seite zu sein, brauchst Du M.2->U.2-Adapter und Kabel, die mit 64 Gbit/s spezifiziert sind, nimm am besten:

• diesen Adapter und
• dieses Kabel