Backup Strategie Debian Server auf Qnap NAS

[Fatal Error]

Hallo Leute,

da ich von meinem Debian Server im Moment noch manuell Backups erstelle (und leider nicht jeden Tag die Zeit dazu habe) will ich das automatisieren.

Die Idee war mit einem Qnap NAS, das bei mir daheim steht, mittels rsync oder ssh/sftp die Daten vom Server zu holen. Dank 100mbit Leitung (UPC Österreich) zuhause und genug Festplatten im NAS eigentlich kein Problem.

Auf dem Server (Standort Deutschland) laufen mehrere virtuelle Maschinen (OpenVZ). Zu sichern
wären die OpenVZ Container und Websites, Mails, svn repositories und home Verzeichnisse etc.

Ganz wichtig ist, dass das Backup vom NAS ausgelöst wird, bzw ich will nicht nicht, dass man, wenn jemand in den Server eindringt, in mein Heimnetzwerk kommt (über openVPN etc.).

Wie würdet ihr vorgehen?

Zum Beispiel die kompletten virtuellen Machinen einmal im Monat/Woche und die anderen Daten täglich sichern?
Per ssh/sftp ganze Ordnerstrukturen kopieren oder am Server in ein tar.* schieben und dieses dann herunterladen?
Am besten natürlich so, dass nur geänderte Dateien geladen werden müssen.
Zusätzlich einen eigenen User fürs Backup (würde dann nur funktionieren wenn der Server tar.*'s erzeugt) und/oder ein OpenVPN noch drum herum einrichten?
Sollte ich die tars noch zusätzlich GPG/PGP verschlüsseln?

Wie ihr seht habe ich nur ein paar Ideen aber keinen konkreten Plan. Wie würdet ihr das machen?

Danke schonmal für die Antworten!

 

[heldvomfeld]

Hallo hier mal so als anregung.

 

[Fatal Error]

Hallo hier mal so als anregung.

Danke für die Antwort.
Da geht es aber um den ESXi Server von VMWare und soweit ich es überflogen habe wird hier nur auf das Erstellen des Backups eingegangen und nicht auf eine Strategie.
Wie ich einen Snapshot von einem OpenVZ Container ziehe ist mir klar.

Die frage ist wie, wann und wie oft ich die Backups vom Server ziehen soll.

 

[Daaron]

Zu wann und wie oft kann ich dir wenig sagen, das hängt ja primär davon ab, wie relevant die Daten sind und wie die Lastverteilung auf dem Server ist. Wenn zu irgend einer Uhrzeit wenig los ist, dann ist das der perfekte Moment fürn Backup.

Was das wie angeht:
Guck dir mal Dirvish an, vorausgesetzt du kriegst es auf deiner NAS zum Laufen. Das Ding kombiniert ssh und rsync zu einer wirklich netten inkrementellen Backup-Lösung. Im Endeffekt legst pro Backup-Ziel eine Vault an, die du dann über eine Config genauer beschreibst: Woher kommen die Dateien, wie lange sollen sie gelagert werden, sollen vor und nach dem Backup-Vorgang auf dem Zielsystem (sprich: dem zu sichernden System) Scripte gestartet werden? Gerade das letzte ist wichtig, um DB-Dumps zu machen.

 

[Fatal Error]

Zu wann und wie oft kann ich dir wenig sagen, das hängt ja primär davon ab, wie relevant die Daten sind und wie die Lastverteilung auf dem Server ist. Wenn zu irgend einer Uhrzeit wenig los ist, dann ist das der perfekte Moment fürn Backup.

Ja das stimmt. Prinzipiell werde ich die Backups wenn dann in der Nacht (zwischen 1 und 8 Uhr ) ziehen. Dann surfe ich normalerweise selbst nicht zuhause im Netz und hab somit keine Beeinträchtigungen.

Zum wie oft:
Angenommen die einzelnen (ca. 4) virtuellen Machinen haben je 50-100GB Festplattenspeicher. Dann ist es nicht zielführend die alle wöchentlich zu laden, das wäre schon zu viel Traffic. Dabei geht es mir nicht um den Server-Traffic sondern um die Leitung zuhause.
Nur wenn ich jetzt alle einmal im Monat lade, kommen so auch schlimmstenfalls 400GB Traffic mal nur fürs Backup zustande. Also muss ich das wohl aufteilen.

Krisitschte VM 2-wöchentlich, rest 1 mal in 2 Monaten?
Oder kann man inkrementelle Backups auch von tars ziehen?

Was das wie angeht:
Guck dir mal Dirvish an, vorausgesetzt du kriegst es auf deiner NAS zum Laufen...

Das hört sich vielversprechend an. Vielleicht bekomme ich das wirklich zum laufen, muss ich mir dann auf jeden Fall ansehen wenn das NAS geliefert wurde. Danke!

Angenommen Dirvish würde nicht darauf laufen, gibt es etwas vergleichbares zu Dirvish?
Sonst bin ich auch nicht abgeneigt selbst Skripte zu schreiben.

-----------

Oder anders gefragt: Wie backupt ihr zurzeit?
Es hilft mir sicher schon wenn ich ein paar Ideen gezeigt bekomme

 

[Daaron]

Krisitschte VM 2-wöchentlich, rest 1 mal in 2 Monaten?
Oder kann man inkrementelle Backups auch von tars ziehen?

Es ist kontraproduktiv, erst irgend etwas zu packen. Der Trick an inkrementellen Backups via rsync ist, dass man nur Änderungen überträgt. Selbst bei ner 1TB-Platte fallen ja nicht tagtäglich einige hundert MB an Änderungen an (außer, du hast ein sehr aktives System).
Der Unterschied zwischen "ich kopiere alle geänderten Dateien inkrementell" und "ich kopiere nur Änderungen in Dateien inkrementell" ist übrigens beachtlich. Ein gutes Beispiel sind mp3s: ändere den ID-Tag, und per rsync werden statt der 10MB großen mp3 beim nächsten Sync. nur 100-150kB übertragen.

Angenommen Dirvish würde nicht darauf laufen, gibt es etwas vergleichbares zu Dirvish?
Sonst bin ich auch nicht abgeneigt selbst Skripte zu schreiben.

Wenn die NAS rsync beherrscht kannst du sicher was hübsches scripten. Der Vorteil an Dirvish ist halt, dass es eine Komplett-Packung ist, die sich selbsttätig um ältere Versionen kümmert und dabei sehr platzsparend vorgeht.
Das meiste davon kann man sicher mit Shellscripts nachstellen, im Endeffekt ist Dirvish ja eh nur ein rsync-Frontend, es ist halt nur Bastelarbeit. Da würd ich lieber gucken, ob die NAS n Compiler hat und ob ich das Tool durch selbigen quetschen kann.

 

[Fatal Error]

Es ist kontraproduktiv, erst irgend etwas zu packen. Der Trick an inkrementellen Backups via rsync ist, dass man nur Änderungen überträgt....

Der Unterschied zwischen "ich kopiere alle geänderten Dateien inkrementell" und "ich kopiere nur Änderungen in Dateien inkrementell" ist übrigens beachtlich. Ein gutes Beispiel sind mp3s: ändere den ID-Tag, und per rsync werden statt der 10MB großen mp3 beim nächsten Sync. nur 100-150kB übertragen.

Das stimmt und ist sicher die beste Lösung um Emails, Websitedaten, sql_dumps etc. zu sichern.
Das Problem dabei sehe ich bei den OpenVZ Containern. Mittels vzdump kann man einen Snapshot erstellen während die VM läuft (bzw. sicherheitshalber kurz suspended wird). Dieser wird dann als tar Archiv gespeichert. Im laufenden Betrieb sollte man ja eigentlich keine Sicherungen machen.
Ich sollte mir rsync mal besser ansehen, habe nur wenig Ahnung was es kann. Aber wenn du jetzt sagst, dass rsync auch innerhalb Dateien nur die geänderten Werte kopiert, dann würde das auch auf die VM snapshots zutreffen, oder?

Wenn das so funktioniert, könnte ich mir überlegen ob ich auch wöchentlich die snapshots herunterladen soll.
Sonstige Dinge wie Emails, Websitedaten, sql_dumps, usw. werde ich am besten täglich sichern.

Vielen Dank für deine Vorschläge

 

[Daaron]

Ja, rsync holt sich nur die Änderungen innerhalb der Datei. Was das dann bei Archiven, Images und ähnlich komplex strukturierten Daten auslöst, kann ich dir aber nicht sagen.