Wie erhalte ich schnellste Zugriffszeiten für große Datenmengen: RAID?

[cider2]

Hi,

ich beschäftige mich mit Musikproduktion im Semi-professionellen Bereich. Ich arbeite viel mit Samples, also sehr kurzen, unzähligen Aufnahmefetzen im WAV-Format, die nach dem Öffnen eines Projekts meiner Audiosoftware in den Arbeitsspeicher geladen werden. Mein Sample-Pool ist momentan etwas mehr als 500 GB groß und er wird noch (wenn auch nicht deutlich) größer werden. Sind die Samples mal im Arbeitsspeicher, geht das Abspielen sehr schnell, das dauert aber eine Weile:
Bei meinem aktuellen Projekt dauert es > 5 Minuten bis alle Samples (ca. 8 GB) zur Verfügung stehen, sprich im RAM sind, logischerweise hört man in der Zeit meine Festplatte (7200rpm) wie verrückt arbeiten.
Um genau diese 5 Minuten geht es (bei zukünftigen Projekten werden es noch mehr sein).

Man fragt sich natürlich wie man diesen Vorgang beschleunigen kann. SSD ist keine Option und eine Festplatte mit mehr als 7200rpm würde den Vorgang wahrscheinlich nicht wahnsinnig beschleunigen, denke ich mir zumindest. Die einzige Möglichkeit, die ich sehe ist ein RAID-System:

In erster Linie geht es mir um Geschwindigkeit, Backups auf einer ext. Festplatte mache ich häufig.
Ich habe mich ein klein wenig in die RAID-Sache eingelesen (Wikipedia) und möchte mir wenn dann ein Hardware-RAID einrichten.
Könnte ihr mir ein RAID-System (0,1,5,6,10 usw) empfehlen, das für meine Zwecke - wenn überhaupt - geeignet wäre?
(Falls ihr noch Informationen für meine Zwecke benötigt, die aus dem Post nicht hervorgehen, werde ich diese noch ergänzen.)

Weitere Frage:
Wäre es empfehlenswert die System-Partition (Laufwerk C) vom RAID-System zu trennen? Momentan habe ich eine Festplatte für das System und eine weitere Fesplatte für die Daten. Meine Idee war, mit dem RAID-System nur die Daten-Festplatte, von der die Samples geladen werden, zu ersetzen.

 

[Marius]

SSD, sonst nichts.

Bei vielen kleinen Dateien hilft kein Raid aus HDDs, bzw. ist der Effekt recht gering.

Was für Festplatten hast du?
Ich hoffe nicht so eine leise Dauerläuferplatte mit elendiger Zugriffszeit...
Da gibts auch am HDD Sektor enorme Unterschiede, mit ebenso enormen Preisunterschieden von 100%.

Warum keine SSDs?
Wo läge das Problem?
Eine 128GB SSD wäre ja groß genug um die Dateien von mehreren Projekten zu speichern.
Du mußt ja nicht alles zugleich auf der SSD haben.

 

[puri]

Wenn Du keine SSD möchtest (die würde das Problem nämlich locker lösen), bleibt Dir nur ein RAID 0 (da Du ja Backup machst)

 

[1668mib]

Ein RAID wird die Zugriffszeiten eher verschlechtern als verbessern... je nach RAID-Modus stehen Daten erst dann zur Verfügung, wenn jede beteiligte Platte zugegriffen hat... dann ist die effektive Zugriffszeit = Zugriffszeit der gerade langsamsten Platte...

Vermutlich wäre für dich gute NCQ-Nutzung interessanter als ein RAID. Laufen die Festplatten schon im AHCI-Modus?

(und wenn einer mit dem Tipp "Defragmentieren" kommt, dann nimm ihn nicht ernst.. das verbessert sequentielle Raten, aber du hast es ja mit wahlfreien Zugriffen zu tun)


Wenn man sich überlegt, wie schnell eine Festplatte 4 KB sequentiell lesen kann, und sich dann vor Augen führt, dass sie zum Positionieren einige ms braucht, dann sieht man, dass bei wahlfreiem Zugriff die Zugriffszeiten immer das Problem sind... NCQ könnte wie gesagt helfen, diese etwas zu reduzieren...

Der einzige RAID-Modus, der evtl was bringen kann, ist RAID0 wie von puri gesagt. Dort können sich die Zugriffszeiten u.U. verbessern, da beim Lesen nicht immer alle Platten beteiligt sein müssen...

@Marius: Naja, dann braucht man keinen Sample-Pool mehr machen, wenn man mit ner 128er SSD arbeiten will...

Edit: Wobei ich mir nicht sicher bin, ob NCQ da hilft... denke bei parallelen Zugriffen bringt's was, aber ob der Sample-Pool parallel gelesen wird, wage ich zu bezweifeln...

Ich würde mich überwinden und auf SSDs setzen.

 

[Chesterfield]

schon mal an eine eine Thoshiba Alegro 3,3ms 15000 Rpm gedacht? bräuchtest ein scsi controller aber die performance für eine mechanscihe platte ist atemberaubend.

 

[nitech]

Und bei Raid brauchst du um wirklich was zu merken einen guten Raidcontroller am besten mit cache ... 500€ aufwärts. Ich denke aber mit einer SSD bist du trotzdem um Welten schneller, und auch große SSDs werden so langsam bezahlbar.

 

[CD]

Wenn du wenige, große Dateien (mehrere 100 MB pro Datei) hast, dann ist Raid0 wahrscheinlich schneller als eine einzelne Platte. Bei vielen kleinen Dateien (~1 MB pro Datei) kann Raid0 dagegen auch bremsen, da immer auf alle beteiligten Platten gewartet werden muss (und die Leseköpfe von zwei oder vier Platten in Position zu bringen dauert einfach etwas länger als bei einer einzigen Platte).

 

[bu1137]

Selbst der beste RAID Controller bringt weniger (bis gar nix) als wenn du dir zb. 2 Samsung 500 GB SSD's holst. Preislich kommts dann auch etwa auf's selbe raus, vielleicht sogar günstiger.

 

[1668mib]

@CD: Wenn die Samples kleiner sind als die Stripe-Size wiederum nicht..
Dass es hier nicht um große Dateien geht, dürfte allerdings offensichtlich sein.

 

[flatoi]

ramdisk, sticht leicht ne SSDs aus, um das x-fache

 

[CD]

@CD: Wenn die Samples kleiner sind als die Stripe-Size wiederum nicht..
Dass es hier nicht um große Dateien geht, dürfte allerdings offensichtlich sein.

Ich weiß nicht, es heißt ja nur "wav-Fetzen" ohne Angabe der Größe oder Dauer. Ansonsten geb ich dir recht.

 

[bu1137]

@flatoi: eine 500GB ramdisk? ja, das hab ich auch hier im schrank herumliegen...

 

[puri]

Es ist tatsächlich so, wie die Vorposter gesagt haben, bei Deinen vielen kleinen Wavedateien könnte nur ein professionelles RAID mit guter Cachefunktion was bringen (Netapp) - völlig oversized - oder eben SSDs. Eine SSD (oder ein SSD-RAID - aus Kapazitätsgründen) könnte Deine 5 Minuten in den Sekundenbereich schrumpfen lassen. Bessere SSDs können 1000 mal mehr Zugriffe/s abarbeiten als eine HDD.

 

[PuscHELL76]

ssd raid 0 ist mein tip

 

[Wishbringer]

Die Stripesize ist bei Intel RST zwischen 64 und 128KB
Bei LSI-SAS-Raid-Controllern bis zu 2MB.

Wenn die Sample-Größe über 4-5MB ist und ein Intel-onboard-Controller genutzt wird, könnte es schon noch was an Geschwindigkeit geben mit guten Festplatten (nichts mit Green!).
Bei hauptsächlich Lesezugriff geht Raidlevel 0,10,5,6,50,60
Wenn auch die Schreibperformance zählt bleibt nur 0 und 10.

Ansonsten wirklich SSDs nutzen.

 

[Green Mamba]

Ein RAID verbessert die Zugriffszeit maximal im messbaren Bereich, spüren wirst du davon nichts. Wie soll sich auch die Zugriffszeit mit einem RAID verbessern? Diese entsteht durch die mechanischen Grenzen in der Platte, das wurde auch bereits etliche male hier im Forum breit gequatscht. Was du durch ein RAID 0 erhöhen kannst ist die Lesegeschwindigkeit. Dann werden in deinem Fall aus 5 Minuten im besten Fall vielleicht 4 Minuten. Obs das wert ist?
Warum ist eine SSD denn keine Option für dich, denn faktisch ist sie imho die einzige Option für deine Bedürfnisse.

PS: Halte während diesen 5 Minuten deine CPU-Auslastung mal im Auge. Nicht dass wider erwarten dort der Flaschenhals steckt.

 

[Urlaubsreif]

2x Velociraptor 450 GB im RAID0.
SSD wäre natürlich sinnvoller, weil

• sie geringere Zugriffszeiten und deutlich höhere IOPS bieten
• Festplatten in den Aussenbereichen langsamer sind
• aktuelle SSDs im Raid-0 oder Raid-1 (weniger Schreibleistung, aber Datenspiegelung) auf 1GB/s (linear) lesend kommen.
• sie keinen Lärm machen

Aber Du lehnst diese ja ohne Nennung von Gründen ab.
Wenn es die Kosten sind: ein echtes Hardware-Raid (kein Fake-Raid oder Soft-Raid) kostet auch ordentlich.
Musst Du wissen.

 

[Marius]

Die kleine SSD meinte ich wegen der Kosten.
Wenn er beim aktuellen Projekt jetzt IMMER NUR 8 GB einlesen muß, dann tuts doch eine kleine SSD mit der er das aktuelle Projekt bearbeitet.
OS und Auslagerungsdatei/Bearbeitungssoftware usw. auch auf die SSD legen!

Daher mind. eine 128GB SSD, z.B die Samsung 840 PRO, das PRO ist wichtig!
~HDD bei 4K Zugriff 0,4 MB/s, mit oder ohne NCQ Warteschlange
~SSD bei 4 K Zugriff 30MB/s, ohne NCQ Warteschlange
SSD bei 4K_64Thread Zugriff = 380 MB/s

HDDs sind gut als Datengrab, als Arbeitsplatte sind sie bei aktuellen PCs nicht mehr zu gebrauchen.

 

[DefconDev]

@flatoi: eine 500GB ramdisk? ja, das hab ich auch hier im schrank herumliegen...

Die frage ist, ob er zu jederzeit auf alle wav dateien zugreifen will? Mit nem 32gb ramdisk hätte er die schnellste und kostengünstigste Variante, denn eine Veli von WD ist sehr teuer und eine SSD 500gb ist auch nicht gerade günstig.

 

[bu1137]

Eine RAMDisk ist ja nur zur Pufferung toll. Wenn du beim Starten vom Computer erstmal alle Dateien in die RAMDisk kopieren musst, ist der Nutzen auch wieder dahin. Und so wie ich seinen Text interpretiere, lädt sein Programm die Dateien bereits in dem RAM. Also... von RAMDisk in den RAM kopieren -> sehr sinnvoll. Dann brauchst du erstmal noch ein Mainboard, das 16 + 32GB RAM fasst. Und wenn die Kiste abschmiert, ist deine ganze Arbeit futsch.

Und dann kannst du dir auch wieder genausogut eine kleine, günstige 128GB SSD holen. Aber, ich schätze mal, von den 500GB an Samples benutzt er zwar nur 8GB, aber die sind jeweils wild verstreut. Ich vermute mal, immer die aktuellen samples auf die SSD zu kopieren ist ihm zu doof, daher eine grosse Lösung.