Suche praktikable Backuplösung für große Datenmengen

[alexpr]

Ich suche schon seit Monaten nach einer befriedigenden Backuplösung, komme aber zu keiner vernüftigen Lösung.
Gegebenheiten:
Als Fotograf haben sich bei mir über die Jahre große Mengen an Fotos und große Bilddateien (hoch auflösenden Panoramen, usw.) angesammelt. Somit komme ich auf einen Datenbestand von ca. 6 TB.
Aktuell läuft mein Backup folgendermaßen.
- alle 2-4 Wochen schließe ich wechselweise eine von zwei externen 8TB Festplatten an und synchronisiere per Robocopy alle Daten
- täglich läuft eine Robocopysicherung (differentiell) auf mein NAS
Grund für die Vorgehensweise ist, dass ich auf dem NAS nicht genügend Platz habe um immer ein Vollbackup zu fahren. Zudem möchte ich auf einem laufenden System kein Hauptbackup fahren.
Warum ich eine andere Vorgehensweise suche? Nach jedem Vollbackup auf die externe Platte muss ich mein Robocopyskript für die NAS anpassen (Parameter damit nur neuere Dateien gesichert werden). Zudem muss ich auf der NAS manuell die alten Daten löschen.

Am liebsten wäre mir eine Backuplösung, z. B. mit Acronis, die Vollbackups auf die beiden externen Platten macht und die diffs dann auf das NAS. Problem an der Sache ist, dass bei täglichen Backup die Vollbackup Platten nicht angeschlossen sind und somit Acronis kein differential Backup machen kann. Die externen Platten liegen nämlich im Keller in einer Stahlbox.
Gibt es jemanden der eine ähnliche Konstellation hat und diese gut gelöst hat?

 

[cbtestarossa]

Also du willst den gesamten Datenbestand von 6TB+ sichern.
Dann mach das doch auf das NAS.
Kopierst einfach nur immer veränderte/neue Dateien dazu.
Für was braucht man da ein BackupProgramm dass womöglich noch irgendwelche Kontainer verwendet.
Dafür reicht XCOPY auch aus. Und man braucht auch kein Script ändern oder?

 

[Masamune2]

Warum so umständlich? Robocopy mit /MIR laufen lassen dann werden alle Daten aus der Quelle mit dem Ziel abgeglichen und nur die geänderten kopiert.

 

[Bagbag]

So ganz sehe ich dein Problem auch nicht.

Möchtest du differnetielle Backups haben, sodass du zu jeden beliebigen Zeitpunkt spirngen kannst?

 

[T00L]

XCopy ist keine praktikable Lösung, bleib bei Robocopy, ist viel flexibler. Für Fotos nehme ich es auch, für täglich sich ändernde Daten habe ich rsync oder DeLoreanCopy mit eigenen Skipten.
Unterteile deine Bestände nach Datum, damit Robocopy nicht immer über die ganzen 6TB laufen muß.

Ergänzung (20. September 2018)

Möchtest du differnetielle Backups haben, sodass du zu jeden beliebigen Zeitpunkt spirngen kannst?

Macht bei Fotos, die archiviert werden sollen, wenig Sinn.
Und für Datensnapshots würde ich DeLoreanCopy oder rsync und harte Links verwenden.

 

[alexpr]

Also du willst den gesamten Datenbestand von 6TB+ sichern.
Dann mach das doch auf das NAS.
Kopierst einfach nur immer veränderte/neue Dateien dazu.

Zum einen ist auf dem NAS nicht genug Platz, zum anderen laufen die Platten des NAS ständig und sind auch bei Spannungsspitzen, z. B. durch Blitzeinschlag, gefährdet.

Warum so umständlich? Robocopy mit /MIR laufen lassen dann werden alle Daten aus der Quelle mit dem Ziel abgeglichen und nur die geänderten kopiert.

Das mache ich ja beim Vollbackup auf die externe Platte. Nur will ich die nicht jeden Tag anschließen und auch nicht angeschlossen lassen. Daher die Differenz aufs NAS.

Unterteile deine Bestände nach Datum, damit Robocopy nicht immer über die ganzen 6TB laufen muß.

Das mit dem Datum geht nicht so einfach. Es kann ja durchaus sein dass ich Anpassungen an älteren Fotos vornehme.

 

[T00L]

Pack doch in jeden Ordner das jeweils passende Robocopy-Skript und ruf es dort auf.
Müssen die Veränderungen mit gesichert werden, sprich verschiedene Dateiversionen? Dann stößt du schnell an die Grenzen von Robocopy.

 

[cbtestarossa]

Naja wenn dein NAS schon zuwenig Speicher bietet wird das noch kopmplizierter.
Glaub auch nicht dass es da gute Backuplösungen gibt wenn das alles irgendwie verteilt ist.
Irgendwo muss dann das Backupprogramm ja eine Datenbank vorhalten was schon gesichert wurde usw.
Und wenn dann noch irgendwo ne Platte kaputt geht, was dann?
Und ein NAS ist auch kein Backup. Das sagt schon der Name.
Es ist einfach ein Netzlaufwerk und das läuft eben im Normalfall immer und muss eben gegen Blitz usw. gesichert sein.
Kannst dir auch nen Server basteln mit RAID 5/6 und mehrern Platten.
Oder sicherst gleich mal was in die Cloud. Natürlich verschlüsselt.

 

[Masamune2]

Wäre ein Backup zu einem Cloudanbieter für dich eine Option? Bei Backblaze bekommst du für 50 Dollar im Jahr unlimitierten Speicher und der Backupclient kümmert sich um das Übertragen der Daten inkrementell.

 

[puri]

Du sagst, auf Dein NAS läuft täglich ein Differenz-Backup - aber das funktioniert doch nur sauber, wenn Du dort auch mal ein Vollbackup gemacht hast, oder wie machst Du das?

Und bei den wenig geänderten Dateien sollte das doch auch in 30-60 Minuten durch sein..

 

[alexpr]

Du sagst, auf Dein NAS läuft täglich ein Differenz-Backup - aber das funktioniert doch nur sauber, wenn Du dort auch mal ein Vollbackup gemacht hast, oder wie machst Du das?

Und bei den wenig geänderten Dateien sollte das doch auch in 30-60 Minuten durch sein..

Naja, das geht über einen Parameter im Robocopy wo man ein Datum angibt so dass nur neuere Daten copiert werden. Den ändere ich nach einem Vollbackup manuell.

Ergänzung (20. September 2018)

Ich denke ich werde doch mal das Geld investieren und die NAS aufrüsten. Dann kann ich dort ein inkrementelles Vollbackup machen und nehme die externen Platten als Redundanz.

 

[cbtestarossa]

Gute Idee.

 

[puri]

OK, auf diese Art von Differenz-Backup wäre ich nicht gekommen - sehr kreativ.. aber für den Notfall immer noch gut, wenn einfach zuwenig Platz vorhanden ist - Und ja - Deine Idee das NAS aufzurüsten ist die sinnvollste Lösung..
Zusätzlich würde ich noch mit Schattenkopien arbeiten - für die alltäglichen Fehler (falsche Datei gelöscht/geändert)

 

[roaddog1337]

Hi,

1. Du musst wohl die NAS aufrüsten, man kann nicht 6 TB Daten bei nur 4 TB Plattengröße sichern
2. Welche NAS hast du? QNAP bietet mit QSync eine super Lösung an, welche quasi im live Betrieb die Photos auf die NAS schaufelt. (sehr zu empfehlen)
3. Um die Ausfallsicherheit zu erhöhen, evtl eine günstige USV Anlage an die NAS. Am besten wäre natürlich noch externe HDDs welche du regelmäßig an die NAS anhängst (um die NAS zu sichern).
Diese externen Platten legst du dann irgendwo anders in eine Schublade/Tresor

 

[benneq]

Da keine Umgebung / Betriebssystem genannt wurde: Apple TimeMachine *duck und renn

 

[habichtfreak]

Ein simples kopieren der Daten von einem PC zum Nas (vermutlich keine räumliche Trennung?) ist kein Backup. Schlägt der Blitz ein, dann in beide Geräte. Diebstahl, vermutlich auch beides. Hochwasser zerstört wohl auch beides.

Eine 1:1 Kopie befindet sich auf einem nicht ständig angeschlossenen (Strom/Netzwerk) Datenträger und dieser ist mindestens in einem anderen Gebäude und wenn noch Geld übrig ist in einem feuerfesten Koffer.

 

[alexpr]

Ein simples kopieren der Daten von einem PC zum Nas (vermutlich keine räumliche Trennung?) ist kein Backup. Schlägt der Blitz ein, dann in beide Geräte. Diebstahl, vermutlich auch beides. Hochwasser zerstört wohl auch beides.

Eine 1:1 Kopie befindet sich auf einem nicht ständig angeschlossenen (Strom/Netzwerk) Datenträger und dieser ist mindestens in einem anderen Gebäude und wenn noch Geld übrig ist in einem feuerfesten Koffer.

Das die Sicherung aufs NAS kein Backup ist weiß ich. Daher nutze ich ja die beiden externen Platten die in einer Stahlbox räumlich getrennt lagern. Hochwasser ist auch kein Thema, denn so hoch wie ich wohne säuft vorher 3/4 Deutschland ab :-)
Knackpunkt aktuell ist natürlich die Zeit zwischen den Vollbackups. Da liegt wirklich nur eine Sicherung auf dem NAS vor. Ein Blitzschlag könnte dann wirklich den Arbeits-PC und das NAS killen. Da wäre dann ein Cloudbackup besser. Allerdings müssten dann primär erst mal 6 TB in die Cloud. Und nach manchen Fototouren kommen auch gerne schon mal 100GB neues Fotomaterial dazu.

Ist denn überhaupt Robocopy eine sinnvolle Lösung, oder sollte ich doch auf Imagebasierte BAckupsoftware, wie Acronis oder Aomei wechseln?

 

[El-Midas]

Vielleicht ist das was für dich:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

(Funktioniert auch mit USB-Platten)

 

[Bagbag]

Ist denn überhaupt Robocopy eine sinnvolle Lösung, oder sollte ich doch auf Imagebasierte BAckupsoftware, wie Acronis oder Aomei wechseln?

Da es sich hier nur um einfache Dateien und nicht um ein System handelt, würde ich hier bspw. restic oder borg nutzen.

 

[FossilCar]

Gibt es nicht endlich mal eine Art Gold-CD auf der man seine Daten sichern kann und man sehr sicher sein kann dass diese nicht gelöscht werden können?