Wie erhalte ich schnellste Zugriffszeiten für große Datenmengen: RAID?
- Ersteller cider2
- Erstellt am
Eine Lösung wäre diese Hybrid-HDD:
http://geizhals.de/seagate-momentus-xt-750gb-st750lx003-a707162.html
in dieser Version ist der Zugriff auf den Flash-Cache per SATA-3 ähnlich schnell wie bei einer SSD, und Du bekommst 750gb für 90€.
Im Lese-Cache sammeln sich oft genutzte Daten, also in der Realität die Verzeichnisstruktur und ähnliche Metadaten vom NFS. Dies reduziert die Zugriffsbewegungen deutlich, so dass im Ergebnis nur die Daten gelesen werden müssen.
Wenn bei Dir nicht jedesmal die gasamten 500gb eingelesen werden (was naheliegend ist) so landen zumindest die aktuell verwendeten Samples im Cache.
RAID verbessert die Zugriffe theoretisch max. um die Zahl der Platten, da durch NCQ die Zugriffe verteilt werden können. Richtig viel bringt es aber nicht.
http://geizhals.de/seagate-momentus-xt-750gb-st750lx003-a707162.html
in dieser Version ist der Zugriff auf den Flash-Cache per SATA-3 ähnlich schnell wie bei einer SSD, und Du bekommst 750gb für 90€.
Im Lese-Cache sammeln sich oft genutzte Daten, also in der Realität die Verzeichnisstruktur und ähnliche Metadaten vom NFS. Dies reduziert die Zugriffsbewegungen deutlich, so dass im Ergebnis nur die Daten gelesen werden müssen.
Wenn bei Dir nicht jedesmal die gasamten 500gb eingelesen werden (was naheliegend ist) so landen zumindest die aktuell verwendeten Samples im Cache.
RAID verbessert die Zugriffe theoretisch max. um die Zahl der Platten, da durch NCQ die Zugriffe verteilt werden können. Richtig viel bringt es aber nicht.
Wow, erstmal vielen Dank für die vielen schnellen, interessanten und hilfreichen Antworten, super Forum! 
Zunächst mal zu meiner momentanen Festplatte um ein paar Fragen zu beantworten:
Es handelt sich um die Hitachi HDS 721010CLA332:
http://www.alternate.de/html/product/HGST/HDS721010CLA332_1_TB/144626/?
Da der Platz nicht mehr ausreicht (u.a. aufgrund anderer Daten), bin ich gerade dabei übergangsweise die
Hitachi HDS 5C3020ACA632 mit doppelter Kapazität zu formatieren (die hatte ich noch als Reserve
):
http://www.alternate.de/html/product/HGST/HDS5C3020ALA632_2_TB/798340/?
Die hat zwar nur 5400 rpm, ist geschwindigkeitstechnisch aber vergleichbar mit der anderen, denke ich.
Erstere, die momentan noch drin ist läuft im AHCI-Modus.
Übrigens @GreenMamba: Ich kann ausschließen, dass die CPU zu langsam ist, die Auslastung ist beim Projektladen im grünen Bereich, also ich schätze mal bei 20-30%. Man hört auch eindeutig, dass die Festplatte arbeitet wie verrückt.
Jetzt zur Größe der Dateien:
Die Größe der Samples variiert, die meisten sind im Kilobyte-Bereich, andere sind mehrere Megabytes groß, das ist aber eher selten der Fall. Von dem her würde ein RAID-System wohl keinen Nutzen bringen, die Dateien sind schlichtweg zu klein.
Eine RAM-Disk würde mir auch wenig bringen, wie auch bu1137 schreibt. Denn:
Beim Systemstart müssten alle für das aktuelle Projekt benötigten Samples in die RAM-Disk geladen werden, was aber unmöglich ist, denn die Samples liegen irgendwo verstreut in dem 500GB-Samplepool. Da die einzelnen Pfade anzugeben wäre wahnsinn. Außerdem würde dieser Vorgang ebenfalls > 5 Minuten dauern und das ganze würde nur für ein einziges Projekt funktionieren. Aus dem gleichen Grund bringt mir eine kleine SSD auch nichts, wie gesagt, die Samples liegen irgendwo und im Grunde genommen muss ich jederzeit auf jedes Sample zugreifen können.
Die einzigen 2 Möglichkeiten die wohl noch bleiben sind die Anschaffung einer ausreichend großen SSD oder einer schnelleren HDD.
An der SSD schreckt mich eben - wie schon richtig vermutet - der Preis ab. Außerdem heißt es immer, dass eine SSD nicht so lange hält.
Jetzt mal ein paar Fragen, die sich mir beim Lesen eurer Antworten gestellt haben:
- Was hat es mit Native Command Queuing auf sich, kann man das essen, wie stellt man das ein, würde das in meinem
Fall was bringen?
- Eine Festplatte mit 15000rpm, wie sie Chesterfield vorgeschlagen hat: Ist so eine Platte wirklich deutlich schneller als
meine Platte? Ich nehme an, eine Platte mit dieser irrsinnigen Umdrehungsanzahl macht ordentlich Lärm, stimmt das?
- @Marius: Warum ist das "PRO" wichtig, geht es dabei um Zugriffszeiten?
Was heißt "4K_64Thread Zugriff = 380 MB/s"? Das ist ja 10 mal so schnell!
- Die Hybrid-HDD klingt sehr interessant:
"...in dieser Version ist der Zugriff auf den Flash-Cache per SATA-3 ähnlich schnell wie bei einer SSD...",
Mir kommt der Cache mit 32Mb aber sehr klein vor. Ich habe pro Projekt ~ 8 GB an Samples, das bringt doch dann nichts?
Zunächst mal zu meiner momentanen Festplatte um ein paar Fragen zu beantworten:
Es handelt sich um die Hitachi HDS 721010CLA332:
http://www.alternate.de/html/product/HGST/HDS721010CLA332_1_TB/144626/?
Da der Platz nicht mehr ausreicht (u.a. aufgrund anderer Daten), bin ich gerade dabei übergangsweise die
Hitachi HDS 5C3020ACA632 mit doppelter Kapazität zu formatieren (die hatte ich noch als Reserve
):http://www.alternate.de/html/product/HGST/HDS5C3020ALA632_2_TB/798340/?
Die hat zwar nur 5400 rpm, ist geschwindigkeitstechnisch aber vergleichbar mit der anderen, denke ich.
Erstere, die momentan noch drin ist läuft im AHCI-Modus.
Übrigens @GreenMamba: Ich kann ausschließen, dass die CPU zu langsam ist, die Auslastung ist beim Projektladen im grünen Bereich, also ich schätze mal bei 20-30%. Man hört auch eindeutig, dass die Festplatte arbeitet wie verrückt.
Jetzt zur Größe der Dateien:
Die Größe der Samples variiert, die meisten sind im Kilobyte-Bereich, andere sind mehrere Megabytes groß, das ist aber eher selten der Fall. Von dem her würde ein RAID-System wohl keinen Nutzen bringen, die Dateien sind schlichtweg zu klein.
Eine RAM-Disk würde mir auch wenig bringen, wie auch bu1137 schreibt. Denn:
Beim Systemstart müssten alle für das aktuelle Projekt benötigten Samples in die RAM-Disk geladen werden, was aber unmöglich ist, denn die Samples liegen irgendwo verstreut in dem 500GB-Samplepool. Da die einzelnen Pfade anzugeben wäre wahnsinn. Außerdem würde dieser Vorgang ebenfalls > 5 Minuten dauern und das ganze würde nur für ein einziges Projekt funktionieren. Aus dem gleichen Grund bringt mir eine kleine SSD auch nichts, wie gesagt, die Samples liegen irgendwo und im Grunde genommen muss ich jederzeit auf jedes Sample zugreifen können.
Die einzigen 2 Möglichkeiten die wohl noch bleiben sind die Anschaffung einer ausreichend großen SSD oder einer schnelleren HDD.
An der SSD schreckt mich eben - wie schon richtig vermutet - der Preis ab. Außerdem heißt es immer, dass eine SSD nicht so lange hält.
Jetzt mal ein paar Fragen, die sich mir beim Lesen eurer Antworten gestellt haben:
- Was hat es mit Native Command Queuing auf sich, kann man das essen, wie stellt man das ein, würde das in meinem
Fall was bringen?
- Eine Festplatte mit 15000rpm, wie sie Chesterfield vorgeschlagen hat: Ist so eine Platte wirklich deutlich schneller als
meine Platte? Ich nehme an, eine Platte mit dieser irrsinnigen Umdrehungsanzahl macht ordentlich Lärm, stimmt das?
- @Marius: Warum ist das "PRO" wichtig, geht es dabei um Zugriffszeiten?
Was heißt "4K_64Thread Zugriff = 380 MB/s"? Das ist ja 10 mal so schnell!
- Die Hybrid-HDD klingt sehr interessant:
"...in dieser Version ist der Zugriff auf den Flash-Cache per SATA-3 ähnlich schnell wie bei einer SSD...",
Mir kommt der Cache mit 32Mb aber sehr klein vor. Ich habe pro Projekt ~ 8 GB an Samples, das bringt doch dann nichts?
Die 32mb Cache entsprechen denen einer normalen HDD. Das besondere bei der Hybrid-HDD sind 8gb Flash-Speicher, die diese intern als Lesecache nutzt, also Sachen, die 3-4x gelesen werden landen dort, ohne dass mansich drum kümmern muß. Das ist also (leider nur beim Lesen) wie eine SSD, wo aber nur die Sektoren, die oft benutzt werden im teuren Cache landen. Das sind als Informationen vom Dateisystem oder eben von Deinem Projekt, falls Du mehrere Male hintereinander am gleichen Projekt werkelst.cider2 schrieb:
Wenn Du Dein Betriebssystem nicht darauf lagerst, entlastest Du diesen Cache natürlich zusätzlich.
Es gibt bei Youtube Vergleiche zwischen SSD, HDD und Momentus. Die 750er ist aber neu und wohl selten verglichen. Hier in der CB gabs mal einen Test.
NCQ ist seit SATA-II eine Warteschlange, in der die Befehler auf der HDD landen und von der HDD umsortiert werden können um schneller abgearbeitet zu werden. Oft ist das nur mit AHCI umgesetzt. SATA ist für 16 Kommandis ausgelegt, SAS für 64.
Eine hohe Drehzahl sorgt dafür, dass ein gesuchter Block entsprechend schneller unter den Lesekopf gelangt. Die vorherigen Blöcke können aber auch bereits eingelesen werden, wenn die HDD (dank NCQ) bereits weiß, dass es diese auch benötigen wird. Bei gleicher Datendichte erhöht sich außerdem der Datendurchsatz, wodurch sich die Zeitdauer verkürzt und schneller mit dem nächsten Transfer gestartet werden kann. 10.000 und 15.000 sind aber selten, teuer und eigentlich für Serverräume gedacht und oft nicht langlebig, weil eh schnell abgeschrieben und oftmals gespiegelt.
Eine SSD sollte i.A. länger halten als eine HDD. Die altern zwar, aber die Verteilalgorythmen arbeiten viel besser als früher. Das Altern wird durch das "Flashen" mit einem hohen Spannungsimpuls hervorgerufen und geschieht nur beim Schreiben.
Die Haltbarkeit von SSDs sollte für normale Anwender (relativ wenig Schreibzugriffe) überhaupt kein Problem sein.
Die 15000rpm-Festplatten machen wenig Sinn, die kosten für 600 GB auch Richtung 300 Euro, sind also nicht erheblich preiswerter als SSDs (500 GB für ~400 Euro). Dafür sind sie extrem laut und auch bestenfalls nur 3-5mal schneller als normale HDDs, SSDs sind da deutlich schneller. Und sie brauchen meistens SAS-Controller, der nicht auf jedem Mainboard drauf ist.
Die einzigen sinnvollen Alternativen sind eigentlich kleine SSD und dadrauf die gerade benutzten Samples, oder große SSD und alles drauf. Falls der Platz später knapp wird, evtl. RAID0 mit 2. SSD.
Die 15000rpm-Festplatten machen wenig Sinn, die kosten für 600 GB auch Richtung 300 Euro, sind also nicht erheblich preiswerter als SSDs (500 GB für ~400 Euro). Dafür sind sie extrem laut und auch bestenfalls nur 3-5mal schneller als normale HDDs, SSDs sind da deutlich schneller. Und sie brauchen meistens SAS-Controller, der nicht auf jedem Mainboard drauf ist.
Die einzigen sinnvollen Alternativen sind eigentlich kleine SSD und dadrauf die gerade benutzten Samples, oder große SSD und alles drauf. Falls der Platz später knapp wird, evtl. RAID0 mit 2. SSD.
Zuletzt bearbeitet:
MahatmaPech
Banned
- Registriert
- Jan. 2012
- Beiträge
- 2.541
Urlaubsreif schrieb:
eher andersrum! außen ist die geschwindigkeit höher, mit der die platten unter den leseköpfen durchsausen! demnach ist die dort auch schneller. geschwindigkeitsdiagramme zeigen das sehr deutlich. man muß zu deren verständlichkeit aber erwähnen, dass HDDs wie eine schalplatte von außen nach innen arbeiten.
t-6
Admiral
- Registriert
- Juni 2007
- Beiträge
- 8.956
Ich machs mal kurz: Es geht dir um deine Produktivität. Da noch mit HDDs rumzufummeln wenn SSDs wie der Elefant im Raum stehen ist... sinnlos. Nimm dir eine oder mehrere SSDs. Samsung 840 Pro wurde ja schon genannt. Fertig ist die Kiste, der Thread könnte an dieser Stelle beendet sein ^^
Hübscher Nebeneffekt, von wegen Musikproduktion und so: Sie sind lautlos.
Haltbarkeit: Mäh. Pff. Die Haltbarkeit von heutigen SSDs ist kein Thema mehr. Außerdem ist das ein Arbeitslaufwerk und du hast ja eh deine Backups.*
*...oder?
