Backup 30 TB

[h00bi]

Was spricht denn gegen ein Selbstbau-NAS, sprich kleiner PC mit 5x8TB oder so?
Das einzige was wirklich Geld kostet sind die HDDs und ggf. das 10G Netzwerk, wobei das bei der "geringen" Menge der täglich modifizierten Daten eigentlich nicht notwendig ist.

Soll das Ding wirklich in einen Safe oder hast du nur kein bock auf das offtopic gefasel?

 

[CPU-Bastler]

Der Firesafe ist genau dafür gemacht worden. Lagern von Festplatten, Disketten oder Tapes.
Wie bereits geschrieben erst nach 90 Minuten steigen die Temperaturen auf einen kritischen Wert.
Die Dinger kann man auch selber bauen. Kalziumsilikatplatten und entsprechender Kleber.
Das NAS kommt natürlich nicht in den Safe. Dazu ist die Wärmeabgabe des NAS zu groß.

Ergänzung (13. Dezember 2018)

RAID 5 hat sich bei mir nicht bewährt. Bei Ausfall einer HD rödelt das ganze System mehrere Tage rum. Wenn in dieser Zeit was passiert ist alles hin. RAID 6 verschlimmert das ganze noch mehr. Ärgerlich ist die Systembeschränkung auf max. 16 TB Volumes für RAID 5 (DS413, DS414j).

Die Übertragungsrate von einer externen HD (Linux-PC) über das 1GBit-Netzwerk auf ein RAID 5 brachte nur Übertragungsraten von ca. 40 MBit/s. Der Flaschenhals ist das NAS. Am Linux-PC können locker 150 MBit/s erreicht werden.

Welches NAS kann denn empfohlen werden? Bringt Bfrts was in Punkto Datensicherheit?

 

[Drahminedum]

Systembeschränkung auf max. 16 TB Volumes für RAID 5 (DS413, DS414j).

Das Limit bei aktuellen Nas von Synology ist höher. Nimm zB DS1817+ und steck eine 10Gbit-Karte rein

 

[SoDaTierchen]

Warte, du bringst jetzt echt viel durcheinander. Du willst ein sicheres Backup, findest RAID 5 aber dämlich, du hast einen Firesafe, willst das NAS dort aber nicht reinstellen, es geht dir ums Backup, du brauchst aber Virtualisierung?

Es tut mir Leid, dass ich mich wiederhole, aber bitte erkläre nochmal, was du eigentlich genau willst. Gefühlt ändert sich die Anforderung mit jedem Beitrag.

BTRFS ermöglicht es, große Volumes zu administrieren. Für deinen Anwendungsfall, so er denn noch immer Backup lautet, ist das aber nicht nötig. In Punkto Datensicherheit ist es genau wie alle anderen Dateisysteme: Platte kaputt, Daten weg.

Du könntest auch mal hier reinschauen. Das ist ein geizhals-Filter mit den Informationen voreingestellt, die ich aus deinen Beiträgen als wichtig erachte. Bedenke noch dazu, dass 8TB-Platten ungefähr 210€ das Stück kosten, du also mindestens 800€ deines Budgets für die Platten reservieren solltest. Eigentlich 1000€, aber RAID wurde ja scheinbar von dir abgewählt.

 

[CPU-Bastler]

Das hast Du was falsch verstanden. Ich hatte ein RAID 5 und einen Plattenausfall. Es hat mehre Tage gedauert die Daten auf die neue Platte zu kopieren (rebuild). In diesem Fall ist die Datenrate auf ca.40 MBit/s gefallen. Während der Rebuild-Phase darf keine weitere HD ausfallen, sonst sind alle Daten weg.
RAID 6 ist das gleich wie RAID 5 nur es dürfen 2 HD gleichzeitig ausfallen. RAID 6 machen aber meinen beiden NAS-System nicht. Warum sollte klar sein. Die CPU-Leistung reicht nicht aus um alle HD konstant mit Daten zu versorgen.

Meine Überlegung geht in die Richtung weiteres Leistungsfähiges NAS, meinentwegen mit RAID 6 oder einer Kombination von RAID 0 und RAID 1. Auf diesem NAS könnten weitere Dienste laufen wie z.B. Virtuelle PCs usw. laufen.
Backup der Filme können über ein Dock gemacht werden. Diese HDs kommen in den Firesafe.

Tapes sind leider preislich außen vor. Schade ich hatte mal ein DAT und ein DLT-System im einsatz. DAT war Schrott; DLT lief prima. Leider zu klein für meine Datenmenge (DLT7000 max. 35 GB).

Das die Backup-Platten Geld kosten ist klar.

 

[memmex]

Ist in diesem Thread nicht mittlerweile alles gesagt?
Du willst nicht in die Cloud, sondern deine Daten zu Hause haben. Ich persönlich halte nach lokaler Verschlüsselung ein Cloudbackup der wichtigsten Daten als essentielles Offsite-Backup. Aber es ist deine Entscheidung.

Ich hoffe, du verschlüsselt deine Daten bzw. die Daten deiner Kunden auch lokal auf deinem NAS.

Du hast Kundendaten und bist aufgrund der Selbstständigkeit auf Verfügbarkeit angewiesen. Deswegen würde ich kein Selbstbau-Kram verwenden, sondern auf ein Fertig-NAS mit Garantie, usw. setzen. Oder mich an ein Systemhaus wenden, die dir auch maßgeschneidert Lösungen und Wartungs-/Garantieverträge verkaufen. Es kommt halt sehr darauf an, wie wichtig diese Daten für deinen Job sind.

Es sollen VMs auf deinem NAS laufen? Bin ich persönlich nicht so begeistert von, da ein NAS per Definition eigentlich keine VMs hosten sollte. Die Hardware ist dafür gar nicht ausgelegt. Was soll in den VMs laufen? Ein NAS mit "gutem" CPU braucht bereits ein Großteil des genannten Budgets ohne Festplatten auf.

Wenn du wirklich VMs hosten willst ist, dann sollte das vielleicht ein eigener Host machen. Sind das Dinge für deinen Job, dann schau vielleicht mal in die Businessreihen von Dell (PowerEdge), HP (Enterprise ProLiant), usw. Die Systeme sind reduntant ausgelegt und kommen mit optionalen Serviceverträgen.

RAID ja oder nein. Ich sage ja, da die Daten verfügbar sein sollen. Jedoch mindestens RAID6 bei Platten >2TB. Enterprise-Festplatten sind für mehr Daten/Tag, längere Lebenszeit und geringere Lesefehlerrate zertifiziert - inklusive gewissen Garantien. Teurer ist hier besser.

Im Endeffekt musst du dir die Frage stellen, wie wichtig sind mir welche Punkte und welchen Preis bin ich bereit zu zahlen. Ich bin mir in dem ganzen Thread noch nicht sicher, ob du eigentlich selbst weißt, was du möchtest. Und solange das nicht klar ist, wird im Thread von allen doch auch nur geraten.

 

[majusss]

BTRFS ermöglicht es, große Volumes zu administrieren. Für deinen Anwendungsfall, so er denn noch immer Backup lautet, ist das aber nicht nötig. In Punkto Datensicherheit ist es genau wie alle anderen Dateisysteme: Platte kaputt, Daten weg.

Das ist so leider nur teilweise richtig. Natürlich sollte ein sehr wichtiges backup auf ZFS oder btrfs gelagert werden. In Kombination mit ECC-RAM werden somit bitrots (zufälliges umflippen eines bits) erkannt und behoben. Ohne ein derartiges Dateisystem verrrotten die Daten einfach, umso größer die Datenmengen umso dramatischer.

 

[CPU-Bastler]

Was ich will ist das eine. Es gibt Kunden, die wollen dulden keine Auslagerung der Daten in die Cloud. Das ganze wird dann noch vertraglich fixiert. Deshalb keine Cloud.

Von Selbstbau rede ich nicht. Ein fertiges NAS sollte es schon sein. Kurze Rebuildzeiten bei 8 TB HD sollte machbar sein. Hier schweigen sich aber alle Hersteller aus. Im Forum habe ich auch noch nichts Substanzielles darüber gelesen. Es scheint als ob viele nur das wiederholen, was Sie irgendwo gelesen haben.
Wie lange dauert ein Rebuild bei einem aktuellen NAS. Wer kann ein Gerät empfehlen? Min. 8 Plätze für HDs.
Es ist nicht so, das ich grundsätzlich etwas gegen RAID 5 hätte. Nur die Sicherheit ist während des Rebuild nicht gegeben. RAID 6 ist da besser.

Ok, die VMs kann ich auch auf einen anderen PC auslagern.

Die beiden NAS wurden mir übrigens von einem Systemhaus empfohlen. Die wusten, das dort 8 TB HDs zum Einsatz kommen sollten. Beratung kanst also knicken. Die wollen nur Geräte verkaufen und Ihre Dienstleistungen dazu.

 

[h00bi]

Du brauchst doch eigentlich gar kein RAID5/6. Der Backupserver braucht doch keine hohe Verfügbarkeit.
Sollte eine Platte ausfallen einfach zeitnah tauschen und das nächste Backup dauert halt länger.
Die Daten sind ja am Ursprungsort immer noch vorhanden und liegen dort auch nicht in einem RAID, oder?

 

[memmex]

Kurze Rebuildzeiten bei 8 TB HD sollte machbar sein. Hier schweigen sich aber alle Hersteller aus. Im Forum habe ich auch noch nichts Substanzielles darüber gelesen. Es scheint als ob viele nur das wiederholen, was Sie irgendwo gelesen haben.
Wie lange dauert ein Rebuild bei einem aktuellen NAS. Wer kann ein Gerät empfehlen?

Synologys haben eine Option, welche Priorität ein Rebuild gegenüber Zugriffen hat. Du benutzt das NAS in der Rebuild Zeit weiter und es ist ein TradeOff.
Die Festplatten sind in den letzten Jahren aber nicht schneller geworden, sondern nur größer. Daher wird auch ein Rebuild immer noch sehr lange dauern. Was passiert beim Rebuild? Eine defekte Festplatte wird komplett beschrieben mit Daten, die aus den anderen berechnet werden. Daher ist auf jeden Fall eine untere Schranke die Größe der Festplatte durch die Schreibgeschwindigkeit der einen Festplatte.
Im Falle einer 8TB Red sind das: 8*10^6 MB / 139 MB/s = 58823 Sekunden entspricht 16 Stunden. Schneller geht es nicht.
Und jetzt hängt es davon ab, ob der Prozessor die Berechnung limitiert, was bei modernen/schnellen Prozessoren nicht mehr der Fall ist und welche konkurrierenden Zugriffe während des Rebuilds auftreten.

 

[CPU-Bastler]

139 MBit/s das wäre schön gewesen. Bei mir waren es aber nur ca. 40 MBit/s. Der Rebuildprozess hat mehrere Tage gedauert. Zugriffe auf das NAS gab es in der Zeit nicht. Priorität wurde hoch gestellt, d.h. vorrang vor allem anderen.
Die selbe HD in einen Linux PC schaffen locker 150 MBit/s beim kopieren.

 

[memmex]

Ja, deswegen habe ich von einer unteren Schranke gesprochen.
Aber du hast auch zwei NAS, die mittlerweile alt sind und insbesondere die j-Serie von Synology ist so langsam, dass ich sie niemandem antun würde. Hier limitiert auch die CPU.
Und eine neuere NAS aus der +-Serie sollte mit Sicherheit mit stabilen 80 MB/s rebuilden. Hier habe ich aber keine praktischen Erfahrungen. Wenn nicht schneller, da die solche CPU kein Flaschenhals mehr darstellen sollte. Ich würde mich auf Rebuildzeiten von 1-2 Tagen einstellen - ohne Gewähr.

Der Linux-PC Vergleich ist nicht zielführend, da eine Synology NAS eigentlich auch "nur" ein Linux-PC ist. Nur meist mit sehr schwachem CPU, da die Priorität nicht auf reiner CPU-Leistung liegt.

All in all kauf dir eine Synology NAS, mit deren Betriebssystem du bereits vertraut bist, aus aktueller Generation aus der +-Serie oder der Serie ohne Suffix mit der Anzahl an Bays, die du benötigst und mach die dann mit Festplatten voll.

P.S. MB/s sind nicht Mbit/s

 

[Drahminedum]

Nochmal:
DS1817+ und eine 10Gbit-Karte (finde ich besser als die DS1817 ohne Plus) in einem 10Gbit-Netzwerk damit die Befüllung/der Abruf nicht ewig dauert.

 

[ed25519]

@Drahminedum : Das Ganze dann ein zweites Mal und mit BTRFS-Sync dann auf die zweite Box syncen. Die sollte dann in einem eigenen Brandabschnitt, oder gar an einem anderen Standort stehen. Mit 40Mbit Upload und einem Delta von 2GB/Tag ist das alles kein Thema. Wir haben hier 1-2GB und 500 KILOBIT Upload ^^.