Frage zu RAID 5, Redundanz und Kompression

[tha]

Hallo,
ich habe mich ein wenig über RAID's belesen.

für sehr große Datenmengen mit gewünschter Sicherheit vor ausfällen, scheint ja RAID5 sehr praktisch zu sein.

laut Wikipedia:

Die nutzbare Gesamtkapazität errechnet sich aus der Formel: (Anzahl der Festplatten − 1) × (Kapazität der kleinsten Festplatte). Rechenbeispiel mit drei Festplatten à 1 TB: (3−1) × (1 TB) = 2 TB Nutzdaten und 1 TB Parität.

http://de.wikipedia.org/wiki/RAID#R...iping_mit_verteilter_Parit.C3.A4tsinformation

wobei hier von 3 Festplatten gesprochen wird, im beispielhaften Bild aber 4 verwendet werden.
in Preissuchmaschinen finde ich aber nur 2 NAS oder RAID Gehäuse mit 3 Slots, gegenüber mehr als 1000 mit 2/4 Slots.

komisches Beispiel. aber der Text darunter sagt:

Bei RAID-5-Systemen sind Konfigurationen mit 3 oder 5 Festplatten häufig anzutreffen – das ist kein Zufall, denn die Anzahl der Festplatten hat einen Einfluss auf die Schreibleistung.

also muss es wohl auch mit 3 Festplatten gehen.

Ich könnte der Rechnung nach 3 Festplatten mit je 4 TB verwenden, und hätte dann ...8 TB nutzen und 4 TB Parität.
bei 4 Festplatten, 12 TB und 4 TB Parität.
bei 5 Festplatten 16 TB und 4 TB Parität.

Stimmt das wirklich so? es scheint mir auf den ersten Blick unlogisch, dass jede Größe der Formel nach nur 4 TB Parität benötigt.

Was ist wenn eine Festplatte im RAID 5 komplette ausfällt? Können die Daten dann 1:1, 100%, also jedes einzelne Bit wiederhergestellt werden oder funktioniert das ganze nur bei einem Teilschaden bzw. defekten Sektoren?

Wenn letzteres zutrifft, wäre es dann nicht softwaretechnisch möglich nach dem Redundanz System das RAID 5 benutzt,
eine 3 TB Festplatte um 33,3%, also auf 2 TB verlustfrei zu komprimieren?

Rechenbeispiel mit drei Festplatten à 1 TB: (3−1) × (1 TB) = 2 TB Nutzdaten und 1 TB Parität.

sagen wir rein theoretisch: ich erstelle mir 3 virtuelle Festplatten bzw. Partitionen mit je 1 TB, lasse diese als RAID5 laufen und lösche dann eine.

ich bitte um Aufklärung. Danke.

 

[hrafnagaldr]

Eine Platte darf komplett ausfallen, die Paritätsinfos werden verteilt über alle Platten geschrieben, von den Infos darf max. der Anteil einer Platte verloren gehen.

Was Du mit dem letzten Punkt willst verstehe ich ehrlich gesagt nicht. Die Daten sind nicht weg, aber das RAID ist bis zum Rebuild miserabel langsam (befindet sich im degraded Zustand). Zudem können die Platten nicht vollgeschrieben werden, ein Teil ist ja für die Parity reserviert. D..h. man hat nur 2x 1TB - Parity auf jeder HDD. Der Teil, um die 2TB Daten voll zu machen, ist auf der defekten Platte. Sprich wenn eine Platte ausfällt läuft das RAID zwar weiter, Du hast aber auch keine 2TB mehr zur Verfügung.

Außerdem befindet sich ja alles auf einer HDD. Da ein RAID5 über drei Partitionen auf derselben Hardware? Das wäre furchtbar langsam. Wird außerdem kein Hardwarecontroller erkennen, allenfalls eine Softwarelösung.

Ansonsten kannst Du nur ein RAID Volume mit den gewünschten Platten und Level erstellen, das dann im Betriebssystem partitioniert wird. Der RAID Controller greift aber vorher, der erkennt nur die Platten, keine Partitionen.

 

[phm666]

Hallo,

bei einem RAID5 werden der Paritätsdaten von zwei Festplatten auf der nächsten gespeichert. Also Sektor von Platte 1 und Platte 2 auf Platte 3, 2 und 3 auf 1 und 3 und 1 auf 2. Wenn da eine Festplatte dazwischen mehr ist, wird das einfach reihum weiterverteilt.
Wenn eine Festplatte defekte Sektoren aufweist, meldet ein RAID-Controller, diese als "dirty" und hängt sie aus dem Verbund aus. dann werden die fehlenden Daten aus den Prüfsummen errechnet, bis eine neue Festplatte in den Verbund hinzugefügt werden. Partitionen werden auf einem RAID erstellt, nicht anders herum.

 

[worldoak]

Du hast eineglich alles richtig Zitiert aber leider nicht verstanden wie das genau abläuft.

Um ein Raid5 verstehen zu können muss man erstaml wissen wieso man einen Ausfall kompensieren kann.
Das geht weil man eine Formal hat.
Anhand dieser Formel "rechnet" der Controller jeden Eingang und Ausgang. Das ist an sich eine sehr aufwendige Rechung und bedarft starker CPUs. Einfacher wird es wenn man CPU extra nur für diese Aufgaben "zurechtbastelt".
So das eine ist der Aufwand das andere ist der Ausfall.... wenn jetzt eine Festplatte Ausfällt kann man genau aus den Lücken die enstanden sind rausrechnen was fehlt und diese Daten herstellen. Man muss sich eben auch das Bild auf Wiki anschauen, dann wird es verstandlicher.....

Deswegen ist die Formel genau richtig Festplatten x -1 Festplatte. Noch besser wird es nur bei Raid 6, da werden 2 Festplatten benötigt. Genauso dürfen auch 2 gleichzeitig ausfallen und man könnten die Daten trozdem 100% wieder herstellen.
Also musst du wieder die Bilder anschauen und dann müßte es eigentlich Klick machen.

Egal wie man es dreht wendet, Mathematik ist dafür verantwortlich weil man die Daten nach einem genau festgelegten Muster ablegt!

 

[Bogeyman]

für sehr große Datenmengen mit gewünschter Sicherheit vor ausfällen, scheint ja RAID5 sehr praktisch zu sein.

Wenns dir um Sicherheit geht würde ich eher RaidZ1 statt Raid5 benutzen oder besser noch RaidZ2.

 

[Brain's City]

Hallo

Also für Raid 5 brauch man mindestens 3 Platten mit 1 Parität und mindestens 4 bei Raid 6 mit 2 Parität.
Es werden bei Raid 5 immer 33% für die Parität belegt egal wieviele Platten dran sind.
Die Anzahl verändert halt nur die Lese- Schreibgeschwindigkeit wobei die ungraden meist schneller sind als grade Anzahl der Platten.

Wenn eine Platte ausfällt kann die auf der Platte gespeicherten Daten wiederhergestellt ( Rebilding ) werden.
Bei Raid 6 hat man halt doppelte Sicherheit wobei ich mit meinen Raid 5 System ich erst 2 Ausfälle hatte und da alles wiederhergestelt wurde. Ich benutzte aber auch Platten welche für Raid Systeme gedacht sind ( in meinem fall von WD Raid Edition ).
Bei den meisten Raidcontroller geht das miterweile sogar "on the fly", also wärend man weiter Arbeiten kann auch wenn der Betrieb dann langsamer ist gewohnt von statten geht.

Wegen Deiner fragen was das komprimieren angeht kann ich Dir nicht weiter helfen da ich nichts davon halte Platten zu komprimieren.

 

[tha]

Hallo, danke für die Antworten.
also mein Beispiel von ganz unten ist nur eine theoretische Frage. 3 Partitionen auf einer Platte als RAID5 laufen lassen macht natürlich keinen Sinn.

Was aber Sinn machen würde, wäre größere Datenmengen 33,3% verlustfrei zu komprimieren.
Also beispielsweise 1080p oder bald 4K Videos, oder gar Backups ganzer Festplatten. um eine 6 TB Festplatte als Backup Clone zu sichern würden dann ein 4 TB reichen.
Ich hatte also im Sinn, warum es bei den heutigen Hochleistungsprozessoren keine besseren Kompressionen als ZIP/RAR gibt. Oder vielleicht gibt es ja solche Programme schon?
Versucht man mit WinRAR Formate die schon komprimiert sind.. wie Videos, mp3/aac, JPG zu verkleinern, erreicht man selbst mit den höchsten Einstellungen nur 1-2%.

P.S. ich will mir ggf schon ein RAID System anschaffen da ich schon 3 komplette Ausfälle großer Platten hatte, aber ich bin was Daten angeht ein Messy der sich von nichts trennen kann, daher auch die Frage wegen möglicher Softwarekompression für alte Schinken.

 

[hrafnagaldr]

Hallo,

dann werden die fehlenden Daten aus den Prüfsummen errechnet, bis eine neue Festplatte in den Verbund hinzugefügt werden. Partitionen werden auf einem RAID erstellt, nicht anders herum.

Genau das ist dann der Punkt, an dem die Performance sinkt. Denn die Daten können nicht mehr nur einfach gelesen werden, sondern müssen mithilfe der Parity Infos tatsächlich errechnet werden.
Laufen tut das natürlich, aber eben sehr langsam.

Ergänzung (10. Dezember 2014)

Ein Backup mithilfe eines degradierten RAID5 komprimieren? Dann kannst es gleich löschen...

Was aber Sinn machen würde, wäre größere Datenmengen 33,3% verlustfrei zu komprimieren.
Also beispielsweise 1080p oder bald 4K Videos, oder gar Backups ganzer Festplatten. um eine 6 TB Festplatte als Backup Clone zu sichern würden dann eine 4 TB reichen.

Eine bessere Kompression eines Videos ist einfach kaum möglich, da es durch die Qualitätseinstellung des verwendeteten Codecs ja bereits komprimiert wird. Aber eben in einer Form, welche noch eine flüssige Darstellung in Echtzeit ermöglicht.
Irgendwann ist halt Ende der Fahnenstange.

Abgesehen davon haben ordentliche Backupprogramme die Möglichkeit einer Komprimierung. Aber der grad hängt halt von den verwendeten Daten ab. Bereits komprimierte Daten bieten halt nicht mehr viel Spielraum.

 

[Brain's City]

Das ist schon ein wiederspruch in sich "Verlustfrei komprimieren". Ich bezweifle sehr das man ein 6 GB Film verlustfrei auf 4 GB komprimieren kann.
Zip und RAR sind nicht die besten, nur die am verbreiteten.

 

[Bogeyman]

Was aber Sinn machen würde, wäre größere Datenmengen 33,3% verlustfrei zu komprimieren.

Nein das funktioniert nicht, weil du die Daten bei einem HDD Ausfall dann nicht mehr wiederherstellen kannst. Du kannst nur Wiederherstellen wenn du Redundanz hast. Durch komprimieren wird Redundanz entfernt.

Du kannst die Daten mit LZ4 beispielsweise "on top" komprimieren bevor sie auf dem Raid Array gespeichert werden. Wieviel man da sparen kann hängt aber von den Daten ab. Bei Multimediadateien geht da nicht mehr viel.

Wobei Raid5 sowieso nicht wirklich so robust ist. Bei 2 Platten mit defekten Sektoren kann es auch gut sein dass da gar nix mehr geht. Geht es um ein NAS und maximale Datensicherheit würde ich daher zu ZFS raten, es ist klassischem Raid überlegen.

Das ist schon ein wiederspruch in sich "Verlustfrei komprimieren".

Nein verlustlos komprimieren ist kein widerspruch in sich. FLAC, DTS-HD MA, True-HD, Winrar, ZIP, LZ4 machen nichts anderes. Es gibt sogar verlustlose Codecs für Videos, aber sowas hat für den Endanwender keinerlei Relevanz, die können den Film auch mal um 50% oder mehr komprimieren, allerdings geht man hier dann auch vom unkomprimierten Film aus.

Wenn letzteres zutrifft, wäre es dann nicht softwaretechnisch möglich nach dem Redundanz System das RAID 5 benutzt,
eine 3 TB Festplatte um 33,3%, also auf 2 TB verlustfrei zu komprimieren?

Das kannste auch einfacher haben, nennt sich dann Raid0. Eine einzelne Festplatte hat keine Redundanz. Zumindest nicht so wie Raid5. Bei SSDs arbeitet man teilweise mit Parity.

Ich hatte also im Sinn, warum es bei den heutigen Hochleistungsprozessoren keine besseren Kompressionen als ZIP/RAR gibt. Oder vielleicht gibt es ja solche Programme schon?

Es steht dir ja frei einen neuen Algo zu entwickeln. Ansonsten steht hier Aufwand nicht in Relation zum Nutzen. Stell Winrar mal auf die maximale Kompressionsstufe. Die Zeit geht massiv nach oben, die Datei wird aber kaum noch kleiner.

 

[Masamune2]

Es werden bei Raid 5 immer 33% für die Parität belegt egal wieviele Platten dran sind.

Nein, das stimmt so nicht. Beim klassischen Raid 5 wird eine Platte abgezogen, wieviel % das sind hängt dann logischerweise davon ab wie viele Platten man hat.
Einen festen Prozentwert gibt es nur in Storagesystemen die virtualisiert arbeiten.


@TE: Schau dir doch einfach mal an wie die Partität berechnet wird dann sollte klar werden wie Raid 5 funktioniert. Kurz zusammengefasst: Der Paritätsblock sorgt immer dafür das die Anzahl der binären Einsen auf den Datenträgern gerade ist. Fällt jetzt einer der Datenblöcke aus liest man alle übrigen und den Paritätsblock wieder ein uns weiß dann ob der gestorbene Block eine 1 oder 0 beinhaltet hatte.

 

[tha]

ok Ich glaube ich hatte einen Denkfehler drin.

Beispiel mit 2 TB Festplatten

bei RAID1 mit 2 HDD's, also 1:1 Spiegelung kauf ich ja 2 HDD's, für bsp. 100€/Stück, also 200€ und habe aber nur 50% Kapazität. (2 TB statt 4 TB)

RAID 1 ist der Verbund von mindestens zwei Festplatten. Ein RAID 1 speichert auf allen Festplatten die gleichen Daten (Spiegelung) und bietet somit volle Redundanz. Die Kapazität des Arrays ist hierbei höchstens so groß wie die kleinste beteiligte Festplatte.

bei RAID5 mit 5 HDD's, also 5-1 Nutzungskapazität kaufe ich 5 HDD's für 500€, habe aber 80% der Kapazität (8 TB statt 10 TB)

Die nutzbare Gesamtkapazität errechnet sich aus der Formel: (Anzahl der Festplatten − 1) × (Kapazität der kleinsten Festplatte). Rechenbeispiel mit drei Festplatten à 1 TB: (3−1) × (1 TB) = 2 TB Nutzdaten und 1 TB Parität.

80% gegenüber 50% klingt doch viel besser und erscheint auf den ersten Blick wie eine Kompression.
aber ich hatte gerade folgende Rechnung:

schreibe ich nun eine theoretische 2TB Datei in mein 3x1 TB RAID, vebraucht diese durch die 1 TB Redundanz 3 TB Gesamt.
fällt eine Festplatte aus, habe ich noch 2 TB an physikalischen Festplatten für meine 2TB übrig.

bei 4x1 TB habe ich 3 TB Daten und wieder 1 TB Redundanz.
ich schreibe meine 3 TB Datei in mein RAID. diese verbraucht nun 4 TB.
fällt eine aus habe ich wieder 3 TB für 3 TB

bei 4x4 TB habe ich 12 TB Daten 4 TB Redundanz.
ich schreibe meine 12 TB Datei auf 16 TB.
fällt eine aus habe ich 12 TB auf 12 TB.

was für ein Brain****

 

[Holt]

Mediendateien lassen sich allenfalls im Rohformat noch verlustfrei komprimieren, alles andere geht nicht, weil die Codecs eben schon selbst komprimieren und das auch noch verlustbehaftet, nur sind eben die Verluste so angelegt, dass die menschlichen Sinne sie möglichst wenig bis gar nicht bemerken sollen.

Zum RAID, ob RAID 1, RAID 5 oder RAID Z irgendwas sollte man immer beachten, dass diese keine Backups ersetzen, da es außer HW Ausfälle noch weitere Bedrohungen für die Daten gibt vor denen kein RAID schützen kann. Außerdem stellt das eigentliche RAID eine weitere Fehlerquelle dar.

Wenn Du noch mehr lesen willst und an große Kapazitäten denkst, dann lies unbedingt auch dieses hier:
http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162
http://www.zdnet.com/has-raid5-stopped-working-7000019939/