Datenverwaltung beste Strategie? Softwareraid, Truecypt.

[Yasirrisay]

Hallo liebes Forum,

ich habe:
2 x 18 TB HDD mit jeweils einer Truecrypt Datei.
2 x 18 TB HDD mit jeweils der Sicherung dieser Dateien.

Diese zwei Truecrypt Dateien sichere ich mir 2-4 x im Jahr und lagere die Sicherungsfestplatten offline. Ist simpel aber funktioniert gut. Gut ist insbesondere, dass ich die Sicherung mit maximaler Geschwindigkeit übertragen kann, da keine kleinen Daten verarbeitet werden. Ein Datenverlust einiger Monate wäre verkraftbar. Zumal wichtige neue Daten bis zur Sicherung auf einer weiteren kleinen Festplatte untergebracht sind.

Jetzt habe ich mir gedacht, ich könnte beide Festplatten in zwei Partitionen teilen, Partition 1 und Partition 2. Dann kann ich Partition 1 beider Festplatten zu einem Softwareraid zusammenfügen und dort die 18 TB Truecrypt Datei aufspielen. Das gleiche Spiel mit Partition 2 beider Platten. So hätte ich wieder 2 x 18 TB nur mit dem Vorteil, dass beide Festplatten zusammenarbeiten und ich damit ca. doppelte Geschwindigkeit erreiche. Zudem wäre meine 1. 18 TB Softwareraidpartition schneller als die 2. da die Festplatten gegen Ende deutlich langsamer laufen. Entsprechend wäre die 1. meine "wichtige Daten" Platte.

Vorteil:

• Geschwindigkeit.
• Lebensdauer. Die Lese und Schreiblast wird verteilt. Da aktuell 1. 18 TB sehr intensiv genutzt wird, im Gegensatz die 2. kaum etwas macht.
• Umsetzung einfach.

Nachteile fallen mir ein:

• Ausfallsicherheit halbiert sich, dazu würde ich einfach öfter die Sicherung durchführen.
• Lautstärke, egal da gedämmtes Servergehäuse.
• Stromverbrauch ist vernachlässigbar.

Meine Fragen:

• Was haltet ihr davon? Habt ihr andere Ideen?
• Welche Softwareraid Lösung sollte ich wählen? Gibt es da etwas intelligentes das zwar parallel arbeitet aber trotzdem die Daten so aufteilt, dass man bei einem Ausfall die Hälfte der Daten noch hat?
• Kann man Softwareraid später durch weitere 9 TB Partitionen erweitern?
• Bringt es mehr Geschwindigkeit 3 x 18 TB zu nehmen und in 3 Partitionen zu zerstückeln?

Danke

Viele Grüße
Yasir

 

[tollertyp]

Hallo,

also man merkt, dass du etwas wenig Erfahrung in Bezug auf RAIDs hast, denn du teilst die Platten nicht in Partitionen auf und machst dann ein RAID, sondern du baust das RAID und kannst das dann unterteilen wie du willst.

Insofern wird ein RAID0 sequentiell beschleunigen, bei den Zugriffszeiten könnte es sich auch leicht verschlechten, aber das ist eh kein Steckenpferd von HDDs.

Ein RAID wird nicht um Partitionen, sondern um Datenträger erweitert. Ob du das RAID später erweitern kannst, hängt von der Art deines RAIDs bzw. des Controllers ab, bei Software-RAID hängt es dann auch von der Software ab. Wenn es ein Software-RAID wie ein Storage Pool (Windows) oder ZFS ist, dann kann man es erweitern (die Umkehrung gilt nicht, das sind nur Beispiele). In deinem Fall würde ich aber möglichst von Anfang an auf das "richtige" RAID setzen (also das RAID in der Form, wie es am Ende genutzt werden soll).

Ich finde ein RAID5 aus 4 Platten (3+1 quasi) ganz gut, bei 18 TB HDDs wären das dann 54 TB nutzbar und du hättest dennoch Ausfallsicherheit einer HDD - was natürlich nicht bedeutet, dass keine Backups gemacht werden sollten, aber das weißt du ja selbst. Aber vielleicht ist auch ein RAID0 aus 2 HDDs bei dir das beste, wirklich beurteilen kann ich das nicht.

Zu den verschiedenen RAID-Modi gibt es im Internet eigentlich genug nachzulesen.

Und es ist schwer andere Ideen zu haben, wenn man nicht die exakten "Anforderungen" kennt.

 

[Sebbi]

2 x 18 TB HDD mit jeweils einer Truecrypt Datei.

Privat oder Geschäftlich?

für Privat ohne Zugriff von Außen auf die Daten oder verschieben in die Cloud halte ich Verschlüsselung für blanken Horror!
1 Fehler irgendwo und alles ist weg. Datenrettung gerade bei verschlüsselten Daten ist unmöglich.
Ich empfehle für Privat keine Verschlüsselung. Denn sobald ein Virus auf deinen Rechner ist, nützt dir die Verschlüsselung auch nichts. Eine Verschlüsselung schützt nur, wenn Dritte außerhalb von deinen Rechner sich Zugriff auf die Daten verschaffen wollen (Cloud oder geklaute Datenträger)

im allgemeinen bringt ein Standard RAID auch keine höhere Datensicherheit, sondern nur Verfügbarkeit!

mehr Sicherheit bietet in meinen Augen dann folgende Methode:

• Sichere auf eine der 18er Platten.
• Nach der Sicherung kopierst du die Daten über einen Automatismus auf die 2. 18er. Das verhindert, das wenn irgendwas mit der ersten Platte ist oder es Fehler gibt, sofort die 2. 18er die gleichen Fehler hat durchs Raid
• Sobald das erfolgt ist, kannst du von jeder Platte die Daten auf jeweils deine anderen 18TB HDDs speichern, die du Offline dann lagerst. Sprich von HDD1 auf Offline HDD1 und von HDD2 auf Offline HDD2. Reduktion der Lasten sowie vorbeugung vor eventuell gerade zu dem Zeitpunkt passierenden Hardwarefehlern.

Nachteil des ganzen ist, das es dich der gesammte Sicherungsvorgang etwas mehr Zeit kosten wird . Deine Daten sind aber sicherer als auf 2 Raids. 2 getrennte Offline Kopien und 2 von einander unabhängige Online Kopien.

 

[Yasirrisay]

Hallo,

also man merkt, dass du etwas wenig Erfahrung in Bezug auf RAIDs hast, denn du teilst die Platten nicht in Partitionen auf und machst dann ein RAID, sondern du baust das RAID und kannst das dann unterteilen wie du willst.

.....

Und es ist schwer andere Ideen zu haben, wenn man nicht die exakten "Anforderungen" kennt.

Ach so rum war das Ich hatte zuletzt 2010 Softwareraids mit Windows erstellt und hatte in Erinnerung das dies so möglich war. Im Grunde ändert das aber nichts, wie du schon geschrieben hast, kann man ja im nachhinein die zwei Partitionen erstellen um die schnelle Partition von der langsamen zu trennen.

Durch die Notwendigkeit von Backups würde mir Raid 5 etwas zu teuer werden.

Anforderung:
Bild und Videobearbeitung und das extrem intensiv. Viele große SSD vorhanden die ich temporär nutze. HDDs sind im Grunde die Datenbanken. Höhe Übertragungsraten wären sehr von Vorteil.

Ergänzung (23. Dezember 2022)

Privat oder Geschäftlich?

für Privat ohne Zugriff von Außen auf die Daten oder verschieben in die Cloud halte ich Verschlüsselung für blanken Horror!
1 Fehler irgendwo und alles ist weg. Datenrettung gerade bei verschlüsselten Daten ist unmöglich.
Ich empfehle für Privat keine Verschlüsselung. Denn sobald ein Virus auf deinen Rechner ist, nützt dir die Verschlüsselung auch nichts. Eine Verschlüsselung schützt nur, wenn Dritte außerhalb von deinen Rechner sich Zugriff auf die Daten verschaffen wollen (Cloud oder geklaute Datenträger)

im allgemeinen bringt ein Standard RAID auch keine höhere Datensicherheit, sondern nur Verfügbarkeit!

mehr Sicherheit bietet in meinen Augen dann folgende Methode:

• Sichere auf eine der 18er Platten.
• Nach der Sicherung kopierst du die Daten über einen Automatismus auf die 2. 18er. Das verhindert, das wenn irgendwas mit der ersten Platte ist oder es Fehler gibt, sofort die 2. 18er die gleichen Fehler hat durchs Raid
• Sobald das erfolgt ist, kannst du von jeder Platte die Daten auf jeweils deine anderen 18TB HDDs speichern, die du Offline dann lagerst. Sprich von HDD1 auf Offline HDD1 und von HDD2 auf Offline HDD2. Reduktion der Lasten sowie vorbeugung vor eventuell gerade zu dem Zeitpunkt passierenden Hardwarefehlern.

Nachteil des ganzen ist, das es dich der gesammte Sicherungsvorgang etwas mehr Zeit kosten wird . Deine Daten sind aber sicherer als auf 2 Raids. 2 getrennte Offline Kopien und 2 von einander unabhängige Online Kopien.

Größtenteils Privat. Das Handling mit Truecrypt optimal, alles hat Vor- und Nachteile.

Sehr gut erkannt, ich habe auch immer Herzrasen wenn ich gerade die Sicherung mache. Über die Anschaffung einer dritten HDD für die wichtige 18 TB HDD hatte ich schon nachgedacht. Wenn ich dich richtig verstehe, sol ich immer eine 18 TB HDD als Puffer nutzen um dann von dort aus zu sichern.

Zur Info, ich habe allerdings nicht vor, die Sicherungsplatten im Raid zu nutzten. Da es zwei einzelne 18 TB Truecrypt Dateien sind, kann ich sie auch ohne Raid jeweils auf eine HDD schreiben.

 

[Maike23]

So hätte ich wieder 2 x 18 TB nur mit dem Vorteil, dass beide Festplatten zusammenarbeiten und ich damit ca. doppelte Geschwindigkeit erreiche.

Bevor ich jetzt ganz weit aushole ....

Bei Raid-Leveln muss mach bzgl der Performance die Lese- bzw Schreibleistung auseinader halten !
Was du andenkt ist ein Raid-0 über 2 bzw 3 Laufwerke. Das erhöht zwar die Lese-Leistung ... aber IMHO nicht die Schreibleistung.

 

[DarkAngel2401]

Klar doch wird bei RAID 0 die Schreibleistung (bei sequentiellen Zugriffen) erhöht, du teilst ja die zu schreibende Datenmenge auf mehrere Platten auf. Genau wegen der Schreib/Leseleistung machst du ja RAID 0.

Nachteil ist hier halt die Ausfallsicherheit. Ist eine Platte tot, ist das ganze Array tot. Deswegen gibts für RAID 0 für den normalen Hausgebrauch kaum ein Szenario, bei dem dieses RAID-Level geeignet wäre.

 

[Iqra]

Man kann natürlich auch mit Partitionen arbeiten. Nicht sehr sinnvoll, aber es geht.

Es geht also primär um die Performance?

Da würde vermutlich ein HBA was helfen, mit oder ohne RAID Funktion.

Raid0 ist natürlich Käse. Insbesondere, wenn wie angedacht Partitionen verwendet werden, und es gibt ein Problem, dann sind alle Daten aller Partitionen weg.

Unter der Annahme dass ein HBA verbaut wird, wäre raidz2 oder sogar 3 bzw unter Windows deren Entsprechung ein annehmbarer Kompromiss, wenn’s ein raid sein soll.
Aber mit dem HBA sollte man auch so bereits ein Performance Plus sehen, jedenfalls dann, wenn die HDDs selber performant genug sind und derzeit eher durchs Interface ausgebremst sind.

 

[Sebbi]

Zur Info, ich habe allerdings nicht vor, die Sicherungsplatten im Raid zu nutzten. Da es zwei einzelne 18 TB Truecrypt Dateien sind, kann ich sie auch ohne Raid jeweils auf eine HDD schreiben.

Achso, dachte du hast schon ein Raid am Laufen.

Wenn ich dich richtig verstehe, sol ich immer eine 18 TB HDD als Puffer nutzen um dann von dort aus zu sichern.

Folgende Reihenfolge mal ganz detailiert:

1. Sichere auf HDD_Online_1 die Orginalen Daten, die du sichern willst und prüfe die Sicherung ggf gegen.
2. Kopiere von HDD_Online_1 auf HDD_Online_2 und überschreibe die alten Daten wenn nötig
3. Kopiere von HDD_Online_1 auf HDD_Offline_1 und überschreibe die alten Daten wenn nötig
4. Kopiere von HDD_Online_2 auf HDD_Offline_2 und überschreibe die alten Daten wenn nötig

bei Schritt 2-4 kannste du auch optional noch einmal Prüfung laufen lassen

so hat meiner Ansicht nach man die geringsten Chancen auf einen Totalverlust, da man immer mindestens eine Kopie sowie die Orginale der aktuelle Daten hat und auch mindestens bis die Aktualisierung erfolgt eine Kopie der vorherigen Sicherung.