Synchronisation von Backups

[webtaz]

Hallo zusammen,

das Thema passt genauso gut ins Forum "Backup und Datenrettung" die Antworten die ich mir erhoffe, kommen aber doch eher aus der professionellen Richtung.

TLDR:
Wie das Übertragen von (merged) VollBackups vermeiden, ohne unendlich Differenzielle (= mit zunehmenden Änderungen jedes Backup größer) oder Inkrementelle (= unendlich viele zu "behaltende" Backups). Ich suche eine Methode mit der ich sowohl am, Original als auch Spiegel synchron aus altem VollBackup + Inkrement/differentiellem Backup ein neues VollBackup erstellen kann - so dass rsync nicht anfängt und die Datei komplett neu überträgt.


Ausgangslage:
Ich verwalte die Netzwerke meiner Familie (Eltern, Bruder, Meines) und habe dort jeweils auf unterschiedlichen Lösungen regelmäßige Backups der Laptops/Desktops auf Netzwerkspeicher eingerichtet. Momentan Inkrementell mit Vollbackups alle paar Monate

Als Software kommt zumeist Veeam (freie Versionen), bei mir EaseUs BackUp ToDo zum Einsatz ich bin da aber bereit zu wechseln.
Die Backups landen zumeist auf einem NAS (Synology, Unraid, einmal auch nur ext. HDD an FritzBox).
Ich habe VPNs zwischen den Netzen gespannt (über die Fritzboxxen, das war bequem und der limitierende Faktor ist zumeist der Upload).

Die Backups werden jeweils auf ein entferntes NAS gespiegelt. Ich nutze dazu rsync bzw. Luckybackup vom Unraid System aus. Rsync via ssh funktioniert nur bedingt (die Synology bockt etwas, es geht aber mit dem Daemon, die Fritzbox-Nas müsste ich erst Freetzen), deshalb ist die Fallback Variante das Einbinden von Samba-Freigaben.

Sowohl Veeam als auch BackupToDo unterstützten das (automatische) verschmelzen von Inkrementellen Backups zu neuen VollBackups nach X Inkrementen. Das Problem ist, dass rsync diese Dateien nicht als das erkennt, und beginnt eine riesige Datei zu übertragen (was hier mehrere Tage dauert...)

Wie löst man das im professionellen Umfeld? (Bruteforce neu übertragen?)
Und was würdet ihr mir vorschlagen?
Ich würde gerne in der Freeware Abteilung bleiben, falls nötig einmalig Kosten von <100€ für Lizenzen evtl.

Könnte z.B. Veeam B&R Community Edition an zwei Enden laufen um die Merges jeweils lokal gesheduled (in Lücken zwischen Backups) vorzunehmen?
( Meine NAS unterstützt direkt kein Docker, das müsste ich dort auf einem Desktop laufen lassen... sollte aber machbar sein)

 

[t-6]

Mh. Knifflig. Backups von Veeam Agents die auf einen lokalen B&R-Server sichern können von diesem B&R-Server zu einem entfernten anderen B&R (der als Repo dient) als Backup Copy geschickt werden.
https://helpcenter.veeam.com/docs/agentforwindows/userguide/integration_backup_copy.html?ver=50

Aber gute Frage ob der entfernte B&R dann auch den periodischen Merge vornimmt (GFS ist hier das Stichwort). Vielleicht wenn der entfernte B&R auch gleichzeitig Proxy ist...
Ich versuch mal morgen drank zu denken und guck mir mal was an.

Wie löst man das im professionellen Umfeld? (Bruteforce neu übertragen?)

Mehrere Möglichkeiten:

Backups von Client-PCs werden grundsätzlich mal vermieden. Daten haben nach Arbeitsanweisung zentral auf Servern zu liegen welche dann regelmäßig zentral weggesichert werden. Das reduziert schon mal ganz ganz viel Overhead; sowohl in Bandbreite als auch im Administrieren.
PCs sind keine Haustiere. PCs sind... Vieh.

Ansonsten: Zusätzliches Backup-Repo Onsite im berühmten Anderen Brandabschnitt. Wenn Anderer Brandabschnitt nicht möglich, dann halt Offsite & mit Bandbreite erschlagen (evtl. mit WAN Accelerator o.Ä.).
Wenn Bandbreite & Anderer Brandabschnitt nicht möglich, bleiben noch die regelmäßigen Tapes/Ext HDDs o. ä. Offline-Backups die ohnehin gemacht werden müssen.

Merke: Offsite =/= Offline. Die Story vom tapferen Domain Controller in Afrika verdeutlicht den Sachverhalt.

 

[h00bi]

Sowohl Veeam als auch BackupToDo unterstützten das (automatische) verschmelzen von Inkrementellen Backups zu neuen VollBackups nach X Inkrementen. Das Problem ist, dass rsync diese Dateien nicht als das erkennt, und beginnt eine riesige Datei zu übertragen (was hier mehrere Tage dauert...)

Dann sage doch rsync es soll nur die Backup Files syncen, die ein Archivbit haben.
Bei einem Merge entfernst du an der neuen großen Datei per Script das Archivbit.

Ich würde bei uns gar keinen Merge wollen. Das wäre mir zu heiß. Da schieb ich lieber tonnenweise Daten über Nacht.

 

[Skysnake]

Oder du machst ZFS snapshots und machst mit rsync nen neuen Stand. Der überträgt mit den richtigen Flags auch nur die Differenz und da du die Snapshots hast kannst du auf jeden beliebigen Stand gehen Ihnen dich durch x
inkrementelle Backups zu wählen.

ZFS kann man auch durchaus vertrauen. Ist ja kein echtes Vollbackup, das der Snapshotmacht. Aber dafür einfach nen zweites Backup, das man ja eh haben sollte.

 

[webtaz]

Dann sage doch rsync es soll nur die Backup Files syncen, die ein Archivbit haben.
Bei einem Merge entfernst du an der neuen großen Datei per Script das Archivbit.

Ich würde bei uns gar keinen Merge wollen. Das wäre mir zu heiß. Da schieb ich lieber tonnenweise Daten über Nacht.

Das wäre dann eine Lösung, wenn ich die Backups auch am anderen Ende mergen könnte. EaseUs kann das evtl. (ich habe aber nur eine Lizenz... und es müsste von einem Rechner aus dort laufen...)
Bei Veam gibt es evtl. die Option, wobei ich dabei auch entfernt auf einem Rechner Veeam B&R installieren müsste... Wäre möglich aber eben nicht ganz was ich mir erhofft hatte.
ö

Oder du machst ZFS snapshots und machst mit rsync nen neuen Stand. Der überträgt mit den richtigen Flags auch nur die Differenz und da du die Snapshots hast kannst du auf jeden beliebigen Stand gehen Ihnen dich durch x
inkrementelle Backups zu wählen.

ZFS kann man auch durchaus vertrauen. Ist ja kein echtes Vollbackup, das der Snapshotmacht. Aber dafür einfach nen zweites Backup, das man ja eh haben sollte.

Auf keinem der Systeme ist momentan ZFS eingerichtet. Synology unterstützt das gar nicht (afaik) und Unraid auch nur über ein Community Plugin.
Prinzipiell eine attraktive Lösung, aber für mich leider unpassend...



Momentan ist wohl die beste Lösung:
Differentielle Backups, somit kann ich wenigstens alte löschen und alle paar Monate, wenn ich die Eltern besuche, nehme ich ein Vollbackup auf einer externen mit...
ODER ich lasse wirklich alle 3 Monate oder so die 2 Wochen Übertragung durchlaufen :-/

 

[h00bi]

einen Merge auf dem Remotesystem wirst du nicht hinbekommen, bzw. nicht "besser" als das vollbackup zu übertragen.

An dieser Stelle würde ich dann mal hinterfragen was du denn da alles per Veeam sicherst?
Evtl. macht es Sinn nur das System als Image zu sichern und den Rest komplett als Dateien zu sichern?
Dann werden deine Images auch nicht so groß.

Die Video- und MP3 Sammlung sowie Urlaubsfotos und die Steam-Bibliothek müssen echt nicht in ein Veeam Image. Bei 40Mbit Upstream schiebst du (auf dem Papier) 100GB in 5:30h
Wobei du noch nicht geschrieben hast wieviel Upstream dir jeweils zur Verfügung steht.

 

[webtaz]

Die Freeware Variante von Veeam lässt nur einen Backup-Job zu (iirc), deshalb habe ich dort versucht alles was "vermisst würde" reinzupacken (auf den Laptops). Große Sammlungen and Mediendaten sind eigentlich nicht vorhanden (Photos liegen auf dem NAS, die sichere ich - shame - noch gar nicht offsite.
Aber das ist definitiv ein guter Gedanke, idR richte ich Laptops eh immer mit System und Daten Partition ein, das sollte sich umstellen lassen. Müsste allerdings für die zweite Sicherung auf ein anderes System setzen...


Entfernt gibt es nur 11 Mbit/s Upstream (und ich möchte selbst Nachts nicht mehr als 85% auslasten, tags eher maximal 60%), bei mir sind es gute 40Mbit/s (und im Home office möchte ich da auch gute 20% offen haben).

Aber ich denke ja, ich sollte die "Wiederherstellungs Images" minimal halten, und den Rest in so kleinen Dateien halten wie möglich.

 

[fgordon]

Hmmmm ich nutze seit ich das hier gelesen habe "syncthing" und synchronisiere die entfernten Rechner und die lokalen auf meinen Server - das lass ich dann regelmässig zu einem tgz zusammenpacken und bewahre dann einfach welche davon auf.

Syncthing kann man auch eine max Bandbreite zuweisen. Gut ist natürlich wenn 1 Rechner lokal dann durchläuft (bei mir ein sparsamer Odroid HC2) so dass ein lokaler Synchronisations Rechner immer erreichbar ist.

Gerade Eltern und Co ändern eher meist selten Terabyteweise zu sichernde Daten in kurzer Zeit Nach dem ersten "Grundabgleich" halten sich die Datenänderungen meist in Grenzen und sind selbst bei GBytes ist das immer spätestens nach ein paar Tagen abgeglichen.

 

[webtaz]

Ja syncthing oder ein rsync wäre für den Photo Share gut.

Ich bin noch auf der Suche nach dem 2. Teil auf den Laptops dort:

• Systempartition mit Veeam
• Daten/Sonstiges mit Versionierung + "per Datei"-Sync

Ich bin mir nicht sicher ob beides möglich ist.

Wobei ich mich jetzt auch schon so lange davor gedrückt habe Veeam B&R Community Ed. aufzusetzen (habe nur die Agenten am laufen), weil das nur auf Windows läuft (wie unzeitgemäß ist das denn??)
Sprich ich muss dafür ne Windows VM aufsetzen usw...

Edit: B&R ist so ein Brocken von Software, da kommt soooo viel mit was ich nicht brauche, das Ding legt meinen halben Server lahm :-/ Ich bin mir nicht sicher ob es die Ersparnis an "verwaltungsaufwand" Wert ist.
Zumal ich es so lese, als ob die mti B&R verwalteten Agents nur auf das B&R Repo speichern können.

 

[webtaz]

Ich hatte jetzt 2-3 Anläufe mit B&R, und nebenbei haben auch alle Agents for Windows es nicht geschafft sich selbst zu aktualisieren, jedes mal Fehler.
Der Agent auf Windows 7 hat absolut ohne Zusammenhang beschlossen, dass er jetzt zentral gemanaged wird (von was, weiß kein Mensch, mein B&R läuft noch nicht)... so dass ich ihn neu aufsetzen müsste...

Was ich derzweil geschafft habe, ist die VollBackups auf Backups der Systempartition umzustellen, "benutzerordner" möglichst auf Datenpartitionen auszulagern, und die Datenpartitionen mit Syncthing (auch nicht ganz unfrickelig mit Berechtigungen usw.) auf die NAS zu packen (send <-> receive only). Zusammen mit Versionierung und rsync offsite ist das doch ganz brauchbar (Bin mir noch nicht sicher ob ich die Versionierung mit übertragen möchte)

Ernstfall Datenkorruption -> Versionierung, inkl. Offsite in größeren Abständen,
Ernstfall 1 Hardwaredefekt -> Lokaler Sync, direkter Zugriff möglich
Ernstfall "Haus brennt ab" -> Offsite.

Ich möchte doch mal schauen ob ich noch gute Alternativen zu "orchestrated" backups finde...
Ansonsten werd ich einfach jeweils testen was bei den 3 "Image" Lösungen die ich derzeit verwende am saubersten läuft (Macrium, EaseUS, Veeam Agent)