U.3 Workstationfestplattensetup

[icemanspirit]

Hi alle zusammen,

ich habe hier meine Entwicklungsworkstation aufgebaut fuer LLVM Entwicklung, Validierung von HPC-Codes und ein "kleines bisschen" Machine Learning von Zeit zu Zeit. Auch wenn die Kernhardware perfekt laeuft, habe ich das Speichersetup bisher straeflich vernachlaessigt und merke gerade die mir aufgelegten Begrenzenung sehr stark in dem ich zum Beispiel Docker Container nicht lokal halten sondern immer wieder in das externe Docker-Registry abschieben muss und dann wieder neu runterladen muss bei der naechsten Nutzung, was mir zu viel Verzoegerung ist. Zudem ist es nicht wirklich moeglich die Grafikkarten ausreichend mit Daten zu fuettern, was mittlerweile zu Einschraenkungen in der Nutzung fuehrt.

Das jetzige Hardwaresetup:

• CPU: AMD Epyc 7702
• RAM: 256 Gb (8 * 32Gb)
• Mainboard: Supermicro H12SSL-i
• Grafikkarten: 2 * RTX A6000
• M.2 Speicher: 512 Gb System SSD + 2Tb Samsung 980 Pro (gerade nachbestellt)
• OS: Fedora (falls dies wichtig sein sollte)

Ich wuerde eigentlich gerne zwei Kioxia CM6-R (7.68Tb) als Festplatten verbauen, aber bin mir unsicher ob ich dafuer einen extra (Broadcom/Supermicro) Controller kaufen muss um diese Festplatten, am besten ueber U.3, zu betreiben.

Wuerde mich sehr uber jegliche Ratschlaege hierbei freuen. Ich selber habe persoenlich nicht sehr viel Erfahrung mit Speichersetups in Workstations und bin etwas verloren, wie ich die Festplatten richtig an das Mainboard angeschlossen kriege.

Vielen Dank fuer das Lesen bis hier & VG
L.

 

[Thaxll'ssillyia]

In welchem Kontext wird der Rechner benötigt, beruflich oder privat? Hier wäre dann noch die Frage wegen Support zu klären.
Ich sollte besser lesen. Das Setup ist schon vorhanden, es geht nur um eine Erweiterung...

 

[icemanspirit]

Dies ist ein privater Rechner, i.e. kein direkter Support von Noeten wobei ich jedoch von der Arbeit immer wieder auch Support kriege falls noetig.

 

[kamanu]

@icemanspirit

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Auf jeden Fall mal bei Linus reinschauen. Der hatte da gestern ein Video zu. U.3 scheint aber auch eher noch schwierig zu sein. Auch wenns wohl ziemlich geil ist vom Prinzip her.

 

[icemanspirit]

@kamanu
Ich koennte den genutzten Broadcom HBA 9500-16i hoffentlich gut beziehen, doch dann muesste ich glaube ich ja immer noch eine U.3 Backplane finden oder?

Beim umschauen waere es dann vielleicht die bessere Option den Broadcom Controller zu nehmen und dort eine U.2 Backplane mit zu verbinden für 8 * 2.5” mit Intel Festplatten zum Beispiel?

 

[Der Nachbar]

https://www.amazon.ca/PCIe-Mini-Dual-Port-Adapter/dp/B084Q5ZVT9

Einfach mal nach solchen Lösungen im Netz suchen oder mit zwei U.2 x4 Adaptern für den M.2 Slot die NVMe Lösungen anbinden.

Mit einem HBA ist das natürlich professioneller, aber mit Bifurcation auf soliden Adaptern kann man das auch gut lösen und hat höheren Durchsatz für alle Laufwerke gegenüber einer Backplane.

 

[kamanu]

@icemanspirit Scheint auf jeden Fall laut Preisvergleich gut verfügbar zu sein. Und günstiger als ich jetzt gedacht hätte. Aber der Rest den du vorhast kostet ja auch mehr als genug 😅

 

[icemanspirit]

@kamanu das System laeuft schon seit mehreren Wochen 😅 Nachdem man das Geld in die Grafikkarten versunken hat, ich habe zum Glueck nicht den Listenpreis bezahlt, waere es misslich wenn man es nicht schafft die Daten auf dem Rechner zu halten. Zum Beispiel hatte ich letzte Woche einen Container, welcher auf 300Gb anwuchs weil die Anwendung so viele Checkpoints generierte 🙈

 

[Der Nachbar]

Übrigens, wenn viel Datenlast anfällt, wäre eine potente Optane auch eine Wahl um dem System schnell und latenzarm Daten bereit zustellen oder auch den RAM zu erweitern. So gut es natürlich unter AMD geht, wenn Optane für intel Systeme maßgeschneidert wurde.

 

[mkossmann]

Beim umschauen waere es dann vielleicht die bessere Option den Broadcom Controller zu nehmen und dort eine U.2 Backplane mit zu verbinden für 8 * 2.5” mit Intel Festplatten zum Beispiel?

Ich bin mir nicht sicher, ob das eine gute Idee ist. U.3 arbeitet meines Wissens mit 12V Versorgungsspannung, eine U.2 Backplane wird aber nur 5V als Versorgungsspannung für die Platten anbieten. Und es mag zwar das gleiche Steckerformat sein, aber das Pinout ist laut diesem Artikel unterschiedlich.

Edit: Dein Motherboard hat :

8 SATA3 or 2 NVMe via single SlimSAS x8

Da könnte man mal schauen, ob es nicht passende Kabel gibt. Vielleicht hier

 

[Rickmer]

Ich hatte auf die Schnelle zum Thema dashier gefunden:

https://quarch.com/news/what-you-need-know-about-u3/

While working with one of the companies leading the way in developing the U.3 host, we encountered a hurdle: compatible NVMe drives for U.3 are difficult to get hold of, with U.3 being so new to the scene. U.2 NVMe drives, unfortunately, don’t work in U.3 because the data lane pin-out doesn’t match. However, SFF-TA-1001 seems to be the key—it sets out what is needed for U.3 drives to work in U.3 while keeping the backward compatibility, meaning U.3 drives work in both U.2 and U.3.

At Quarch we’re always adapting, and this is no exception! We worked to develop a small adapter which fits between the U.3 host and a U.2 NVMe drive, allowing the U.2 drive to work in the U.3 host without a problem. This allows hosts to have initial testing performed with existing U.2 drives.

 

[icemanspirit]

@mkossmann Du wuerdest also, um es kurz zusammenfassen, empehlen das SlimSATA zu 2 * U.3 Kabel zu nehmen und dann zwei U.3 SSDs e.g. die Kioxia CM6-R daran direkt anzuschliessen?

 

[mkossmann]

@icemanspirit
Ja.
Für deine Anforderungen ( Zwei schnelle "Datengräber" in Form der CM6-R ) ist das die preiswerteste und sicher nicht die schlechteste Lösung. Ich sehe jedenfalls für dich keine Vorteile darin den Anschluss über einen HBA und/oder eine U.3 Backplane zu machen. Aber das mußt du letztendlich selber entscheiden.
Und der Link ist ein Suchmaschinenfund . D.h. ich habe mit dem Hersteller bisher nichts zu tun gehabt und weiss auch nicht ob die nach Deutschland liefern.