Media File Server mit 21TB+

[MisterMCBlinki]

Hallo,

nachdem ich letztes Jahr meinen irgendwie erfolglosen ersten Versuch gestartet habe:

Datengrab aus Plexiglas

Dies System lief zu Anfang (1 Woche ganz gut), danach vielen nacheinander die Festplatten aus. Gerantie war ja da , aber nachdem insgesamt 14 Festplatten ausgetauscht waren und die Flutkatastrophe eintrat, verkaufte ich erstmal die Platten mit etwas Gewinn.


Nun mein erneuter Versuch ein noch besseres System aufzubauen.

Interessant fand ich folgendes Thema, dies mein gewünschtes Ziel leicht verfehlte:


http://www.meisterkuehler.de/forum/kaufberatung-stromspar-pcs/32938-kaufberatung-media-file-server-20-tb-kapazitaet-stromsparsam-netzteil-dauerbetrieb.html

Mein Ziel:

Raid 6 Server (oder reicht Raid 5?)
mind. 21TB Festplattenspeicher (soll nach und nach sich aufbauen)
3 TB oder 4 TB Festplatten , 2er sind da zu klein und wären zuviele.

Folgende Einzelteile Hätte ich noch rumliegen:

Zotac Fusion ITX (FUSION350-A-E)

PicoPSU-160-XT + ext. 192W Netzteil

Scythe 140MM SM1425SL12SL

2x Cooler Master 4-in-3 Device Module STB-3T4-E3-GP

Sharkoon pc jump start

Digitus 6-Port PCI-E SATA II eSATA II (DS-30104)

Thermaltake Armor Gehäuse

8 GB DDR3 Ram

ICP Vortex ICP9087MA 8port SATAII RAID-Controller - 256MB - PCI-X -9087MA


Kann man davon etwas verwenden?


Stromverbrauch ist nicht soooo wichtig.
Raid sollte mit 4x 3/4 TB Festplatten beginnen und sich Monatlich um 1 Platte erweitern.
Günstig aber sinnvoll!

Was fehlt:
Board
NT
Controller Karte(n)
Sinnvolle Festplattentypen ( WD Reds?)
und Zubehör.

 

[czuncz]

bei hdd größen von 3tb-4tb macht raid 6 schon mehr sinn wie ein raid5, da bis zu 2 platten ausfallen können.

hast du dir auch schon Gedanken dazu gemacht, wie du deine daten backupen willst? ein raid ist kein Backup.

btw. hast du dir schon mal überlegt, ob du dir nicht ein performantes nas hinstellst (mit nfs, iscsi, coreI cpu), ich glaube da hast du unterm strich weniger probs als mit so was selbst gebauten

 

[ceddy]

Soll der 24/7 laufen oder nur bei bedarf angeschaltet werden?

 

[Masamune2]

Zwei Sachen wären noch wichtig:
Welches Betriebssystem soll auf der Kiste laufen und brauchst du ein Hardware Raid oder tuts auch ein (Linux) Software Raid?

Bei einem Raid 6 (was bei der Größe der Platten zu empfehlen wäre) brauchst du 8x 4TB Platten um auf ca 21 TiB nutzbare Kapazität zu kommen. Die acht dafür nötigen SATA Ports lassen sich recht leicht zur Verfügung stellen, ein dedizierter Hardware Controller allerdings kostet hier schnell einige hundert EUR.

 

[puri]

Da Dein Endausbau auf 8 Platten hinausläuft, wäre ein RAID 6 zu empfehlen, wenn der ICP das kann (was dann aber 4 TB-HDs voraussetzt, da für die Nutzkapazität dann ja nur noch 6 Platten zur Verfügung stehen - kann der ICP 4 TB - HDs überhaupt ?). Was allerdings nicht so toll ist, wenn Du das RAID ständig erweitern möchtest. Ich habe mal einen älteren ICP -SATA-Controller im Einsatz gehabt, der hat Tage gebraucht um das RAID (damals RAID5 aus 8x 500 GB Platten) aufzubauen. Wenn Du erweiterst muss er jedes Mal das RAID erneut aufbauen, das ist eine extreme Belastung für alle Platten und Deine Nutzbandbreite geht in der Zeit massiv in den Keller.

 

[Dunkelschwinge]

Und dann denk nochmal über einen vernünftigen Raidcontroller nachdenken bitte! Nur per Software macht das keinen Sinn.

Desweiteren vergiß bitte für so en Setup die Picu psu.

Ic hab hier 6 HDDs die beim anlaufen den Stromverbrauch auf über 180 W ziehen. Nimm ein normales 300W Netzteil, das reicht, die Picos siind dafür nicht gemacht.

 

[worldoak]

Also jetzt ohne Überheblich zu wirken, du willst dir ein riesen Archiv aufbauen und dann hast du kein Geld übrig für einen richtigen Raid Controller?
Die HBAs sind keine wirklichen Controller. Nachlesen kannst du das auf WIKI.

In den anderen Threads beschwerst du dich über die schlechte Leistung des Raids....knauserst aber an richtiger Hardware. Wenn man sich sowas aufbauen möchte, gerne aber dann muss man auch gute Hardware kaufen.

An deiner stelle würde ich einfach einen BeQuiet 350 - 450W kaufen. Die sind superleise und sehr zuverlässig.
Ein Laufwerk benötigt ca. 8-9Watt, den Rest kannst du selbst ausrechnen.
So krasse Anlaufstörme haben die Laufwerke nicht, auch wenn es sich cool anhört.
Auch starten die "Richtigen" Controller die Laufwerke etwas zeitversetzt.

 

[Polishdynamite]

Hast du eigentlich analysiert warum dir die Festplatten abgeraucht sind?

Dein Konzept scheint mir nicht wirklich sinvoll! 21 TB im Raid und wo bleibt das Backup? 21 TB und wo bleibt ein vernünftiger HW Controller?

-Max. physical disk drive size: 1TB
-PCI-X ??? Wozu das noch?

Geh lieber in dich und denke über dein Konzept nach bevor du einfach irgendetwas hier hin klatscht!

 

[worldoak]

Wenns um Festplatten geht die im Raid 5 zuverlässig arbeiten sollen und nicht andauernd rausfliegen, dann nimm KEINE WD. Am besten Hitachi oder Seagate.

Das schlafenlegen macht ein richtiger Raid Controller. Adaptec ab der 5er Generation sind da sehr gut darin.

Was du nicht vergessen darfst ist die dauer des Rebuilds! Ohne einen richtigen Controller dauert es Tage bis du einen Rebuild durch hast. Bei Online erweiterungen dauert es doppelt so lange ohne einen richtigen Raid Controller.

Und den Controller den du hast, würde ich nicht mal als HBA nehmen, geschweige als Raid Controller.
Die Hersteller schreiben da hin weil es früher üblich war das man einen Controller extern hatte und nicht auf der Festplatte. Jetzt hat jede Festplatte ihre eigenen Controller und muss nicht extern angesteuert werden.
Der Namenssatz blieb aber erhalten und wird heute auch falsch gedeutet. Ein richtiger Controller hat einen "eigenen" ROC Chip, bzw CPU.
Da ein Raid 5 bzw 6 sehr komplexe Brechnungen machen muss und der ROC extra drauf zugeschnitten ist (eine gewöhn. CPU die kennt braucht sehr viel mehr Rechenleistung um mit einer ROC CPU mithalten zu können) dauert z.B. bei Adaptec ein Rebuild nur ein paar Stunden!!!

 

[Sannyboy111985]

Wir setzen im Enterprise Umfeld schon lange Software Raids ein und haben keine Probleme damit.
Und selbst die Hersteller von HighEnd Storage Produkten setzen heute auf Softwareimplementierungen der Spindelredundanz.. Daher ist das heute kein no Go mehr ohne HW auszukommen, wenn man einen Robusten SW-Stack und mit genug CPU + RAM davor hat.

Ansonsten keine PICO PSU die packt das nicht.

 

[Lawnmower]

und wie man 21 TB dann vernünftig sichert ist dann natürlich auch nicht mehr Peanuts, einfach USB Laufwerk anhängen und so ist da nicht mehr drin
Solltest Dir ernsthaft erst eine Strategie für sowas zurechtlegen und dabei ein ordentliches Netzteil sowie ein anständiger Raid Controller mit einplanen.

 

[puri]

Eigentlich sind die ICP-Vortex sehr gute Controller. Im SCSI-Bereich gab und gibt es wenig besseres. Der SATA-Controller (Vorgänger) den ich kenne, war zwar etwas schwächer, hat aber dann auch jahrelang zuverlässig und performant funktioniert. Nachteil ist, dass der Treibersupport wohl längst eingestellt ist. Und ob der Controller Platten > 2TB überhaupt frisst, ist bei dem Alter auch fraglich.

Alternativ einen Adaptec SAS-Controller, da habe ich einen 4-Kanal mit SATA-Platten im Einsatz, der funzt sehr gut. Leider sind die 8-Kanal-Adaptec sehr teuer (500 €), Vielleicht kann man auch zwei 4-Kanal kombinieren ?

Oder gleich was komplettes ohne Bastelei, was aber 100% funktioniert:
http://www.alternate.de/html/product/QNAP/TS-869_Pro/1006234/?

 

[Masamune2]

Heutige CPUs sind locker schnell genug um die Paritätsberechnung für Raid 5 und 6 mit zu machen ohne dabei in die Knie zu gehen. Einen Vorteil hat man bei Hardware Raids nur noch dann, wenn der Schreibcache genutzt wird und der Controller somit nur noch komplette Strips neu schreiben muss statt für jedes Byte den Stripe zu lesen, die Daten zu modifizieren und den kompletten Stripe wieder schreiben.
Dann sollte man den Cache aber dringend absichern (mit Batterie oder als Flash Cache) da sonst Blöcke die für das Betriebssystem schon als geschrieben gelten beim Absturz des Controller verloren gehen. Passiert das während der Erweiterung des Raids kann man anschließend sein Backup einspielen...

So ziemlich alle modernen Storage Systeme implementieren die RAID Berechnung als Softwarelösung auf der normalen Storage CPU. Ich kenne jetzt nur die HP 3Par die dafür einen (oder sogar zwei) eigene ASICs nutzt.

 

[MisterMCBlinki]

So,
gestern günstig an Folgenden Raid-Controller gekommen:

3ware 9650SE-8LPML Speichercontroller Raidcontroller (RAID) SATA-300 Low Profile

Laut HDD Comp. List wird folgende Festplatte unterstützt und preislich "interessant"
Hitachi Deskstar 7K4000 SATA III 4TB (HDS724040ALE640)


Wollte anfangen mir 4 davon zu bestellen und dann nach und nach weiter aufzubauen. jeden Monat 1 dazu, das ist preislich grad so drin und ich hab immer neue Platten (und andere Chargen).

NT-Empfehlungen?
Was fürn Board und CPU ist ausreichend?
Linux wird denke ich mal drauf laufen mit XMBC.

Mein Fernseher soll als Monitor dienen für HD Filme.
Eine Surround Anlage für den Sound.

 

[puri]

Musst mal nach Erfahrungen googeln. Nicht jedes Consumer Board (AMD, Intel S1155) akzeptiert x4-Controller in seinem x16-Steckplatz (besonders, wenn es keine Grafikkarte ist). Mit einem 1366/2011'er wirds sicherlich keine Probleme geben

 

[HisN]

Du willst jeden Monat das Raid um eine Platte erweitern?
D.h. Du gefährdest jeden Monat Deinen Datenbestand mit dem Migrieren Deines Raid-Arrays und dem Anpassen der Partition darauf?
Abgesehen davon dass die Migration Deinen Array längere Zeit unter Dauerlast setzt.

Ob das Punkte bringt?

 

[MisterMCBlinki]

Habe mal alles mir durch den Kopf gehen lassen.

Was halte ihr davon?

DER XEON

 

[Masamune2]

Hab nicht mehr alles im Kopf und will auch nicht mehr alles durchlesen aber eine Frage: Warum braucht dein Fileserver einen Xeon mit vier Kernen?

 

[MisterMCBlinki]

Der XEON hat eine integrierte Graka. Brauche sie für den Anschluss am TV

 

[Basti__1990]

ein Netzteil für 15€ aber sonst gehts dir noch gut oder?
http://preisvergleich.hardwareluxx.de/677396
du benötigst ja mindestens 7 SATA Anschlüsse.

wozu benötigst du 2 SSDs?

Nicht nur der Xeon hat eine iGPU, sondern auch fast jede aktuelle CPU von Intel auf Sockel 1155.
Der hier reicht völlig aus http://geizhals.de/677838

Um einen gescheiten Controller bei RAID 5 und 21TB wirst du wohl auch nicht drum rum kommen
http://geizhals.de/224592

Oder kaufst dir einfach gleich eine NAS mit genügend SPeicher
http://geizhals.de/731984