Datenbackup von 96TB RAID5

[chrisnative]

Ich habe an zwei verschiedenen Orten Arbeitsrechner mit jeweils 96TB RAID5 Arbeitsvolumen.
Ich suche nach einer Lösung, diese zu synchronisieren.
1. Online fällt flach, weil teilweise zu große Datenmengen anfallen.
2. Jedes Mal einen 96TB-HDD-Kasten rumschleppen ist auch keine Lösung.

Mehr als vielleicht mal 1TB würde täglich nicht hinzukommen.

Meine Wunschvorstellung: Auf einer mobilen 4TB-SSD ist nur das Directory oder was auch immer abgespeichert.
Ich fahre mit dem aktuellen Directory von Platz A nach B, arbeite dort, am Ende des Tages gibt es auf die SSD
ein Update vom Directory und es werden nur die neuen Daten zusätzlich rüberkopiert auf die SSD und dann am
Ende des Tages an Platz B geupdated.

Sämtliche Lösungen, die ich gefunden habe, benötigen immer beide zu vergleichenden Laufwerke.


Gibt es da was?


VG,

chrisnative

 

[duAffentier]

Ja, weil nichts Standard ist. Wie will man was automatisieren oder vereinfachen, wenn zu viele Variabel dabei sind.

Da musst du an beiden PCs dann ein Sync manuell machen etc... Sehe hier kein Muster, was man vereinfachen kann.

 

[ShutdownButton]

per Remote arbeiten ist unmöglich? Will sagen die Daten werden immer lokal gebraucht?

 

[madmax2010]

3 davon: https://geizhals.de/intel-ssd-d5-p5316-30-72tb-ssdpf2nv307tzn1-a2579737.html?hloc=de
oder gleich nicht offline arbeite.
Ich habe auch ein paar hunder TB an Daten. So gut wie nichts davon ist lokal, weil ich zur not von überall aus mit jedem Gerät arbeiten können will.

 

[chrisnative]

Es sind halt größtenteils unkomprimierte Videodaten, die per Remote zu bearbeiten (Nadelöhr Upload/Download der jeweiligen Leitung) ist grausam. Ich brauche die Daten lokal.

Ich könnte mir natürlich auch notieren, was ich aktuell gerade wo geändert/bearbeitet habe, aber dann sitze ich jeweils abends/morgens ne Stunde rum und kopiere manuell Daten...

Es muss doch eine Lösung geben, ohne 96TB als gespiegeltes Backup von A nach B zu tragen.

Das muss doch softwaretechnisch irgendwie lösbar sein.

 

[duAffentier]

Aber wie?
Du musst ja dem Medium "externe HDD" sagen, was er mitnehmen soll...

Master PC = A
Sekundär PC = B

Oder du hast z.B. auf beiden PCs die gleichen Ordner...
A
B
C
D
E
F

Dann kannst du auf jedem PC für den Ordner A, B, C, etc. ein Sync machen. Du musst dann manuell anstoßen, was kopiert werden soll.
Auf dem anderen PC A werden die Daten der externen HDD einfach sync gemacht.
Am PC B kannst du ja direkt auf der HDD arbeiten, wenn es eine SSD ist. Da ersparst du dir das Sync.
Oder dann auf PC B den ensprechenden Sync aktivieren A, B, C. etc..

 

[kartoffelpü]

Einfach per Script alles sichern, was die z.B. letzten 24h geändert wurde?

 

[Piecemaker]

• An Arbeitsplatz A liegen 96TB an Daten.
• Davon ändern sich jetzt 1TB.
• Diese 1TB nimmt man per SSD mit zu Arbeitsplatz B.
• Hier ändern sich jetzt wieder 1TB an Daten.

Sprich, er soll die Daten die aktuell an A oder B liegen, nach dem anschließen der SSD abgleichen? Wo ist das Problem?

Automatisch würde das der SyncButler übernehmen:
https://syncbutler.en.softonic.com/?ex=DINS-635.3

Manuell oder zeitlich geplant könnte dies Filesync übernehmen:
https://freefilesync.org/

 

[chrisnative]

A und B haben jeweils exakt das gleiche Laufwerk. Auf dem Wechseldatenträger, der ja nicht 96TB groß sein soll, soll deswegen nur das Directory oder was auch immer abgespeichert werden und eben nur die zusätzlich neuen Daten mit rüber. Ich kann auch nicht tagesaktuell Ordner anlegen, weil ich z.B. plötzlich an uralte Projekte ran muss.

 

[Blende Up]

Wenn eine Verbindung existieren würde/könnte, dann:

"rsync"
https://de.wikipedia.org/wiki/Rsync

wurde genau für solche Fälle entwickelt. Läuft so gut wie überall. Ich setze es auf Synolgy NAS, Netgear NAS, Linux OMV ein. Zusammen auf einem Snapshotfähigen Dateisystem (z.B. BTRFS) einfach unschlagbar, naja also zumindest echt toll. K.A. ob es vielleicht was noch tolleres gibt ;-)


Bei Verwendung eines HinUndHerSchlepp-Mediums würde ich mir mittels TotalCommander behelfen. Alle Dateien nicht älter als (Zeit) kopieren. Mittels unkomprimiertem 7z bekommt man auch die Ordnerstruktur bewegt

 

[Piecemaker]

A und B haben jeweils exakt das gleiche Laufwerk. Auf dem Wechseldatenträger, der ja nicht 96TB groß sein soll, soll deswegen nur das Directory oder was auch immer abgespeichert werden und eben nur die zusätzlich neuen Daten mit rüber. Ich kann auch nicht tagesaktuell Ordner anlegen, weil ich z.B. plötzlich an uralte Projekte ran muss.

Mit FreeFileSync, PersonalBackup oder TotalCommander (usw) kannst du eigene Regeln erstellen. ZB das nur die neusten Dateien auf die SSD kopiert werden, somit nicht alle 96TB.

Beispielsweise "Kopier mir alles was sich in den letzten 24h geändert hat, auf die SSD."

Wahlweise zeigt er dir nach den Filter Regeln auch nur alles an was sich "heute" geändert ha,t und du sagst ihm dann mit einem manuellen klick "kopier mir das auf SSD".

Genau für das was du da vor hast, wurde beispielsweise FreeFileSync gemacht.

 

[sthyen]

Ich würde meine Ordnerstruktur anpassen. Einen Ordner "Archiv" für alle Daten und einen "Arbeit" für die akut verwendeten Daten. Den Ordner "Arbeit" würde ich dann jeweils über die externe 4TB SSD synchronisieren. Wenn ein Projekt abgeschlossen ist und in "Arbeit" nicht mehr benötigt wird, würde es uns Archiv wandern.

 

[TriceO]

Ich habe auch ein paar hunder TB an Daten. So gut wie nichts davon ist lokal, weil ich zur not von überall aus mit jedem Gerät arbeiten können will.

Zwar semi-OT, aber wie setzt du das um?
Ist das dann alles Cloudspeicher?
Oder läuft das per Azure, Desktop-as-a-Service usw? Oder steht irgendwo das Hauptgerät welches und du logst dich dann remote ein?

(Um mal mit möglichst vielen Schlagworten rumzuschmeißen, mit denen ich mich minimalst auskenne.)

 

[_Shorty]

Also das klingt alles danach, dass man sich eher per RDP / Teamviewer / VPN auf den einen PC am Standort verbindet auf dem die Daten liegen und dann direkt dort arbeitet.

Anderenfalls kommst du nicht drum herum, die Daten mit dir jedes mal mit umher zu tragen.

 

[Piecemaker]

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

So schneide ich mit einem 10 Jahre alten 600€ Laptop 4k Videos per Remote. Ich brauche dazu natürlich vor Ort eine Leitung die 20Mbit im Download macht und auf der Gegenseite 20Mbit im Upload.

 

[prian]

Ich habe zwar keine Lösung, aber das Problem bewundere ich jetzt echt.

Die 96TB sind das theortische Maximun das auftreten kann?
Das ist schon auch ein Wort.

Im kleineren Rahmen mache ich das mit dem Total Commander, Datensicherung meines PC aufs NAS macht Acronis für C:, Laufwerke D: und E: synchronisiere ich dann mit dem NAS. dabei ist nach dem Vergleich (und vor der eigentlichen Sychronisation) erkennbar, was auf das NAS müsste, was auf beiden Vorhanden aber untschiedliche Größe hat und was nur auf dem NAS vorhanden ist, weil ich es lokal gelöscht habe.
Aber auch in diesem Fall brauchst Du 96TB bei A und 96TB bei B und 96TB zum Rumtragen.

Es gibt auch die Option asymmetrisch abzugleichen, dann wird auf der Zielseite alles sofort entfernt was auf der Quellseite nicht da ist, das kann hilfreich sein, kann aber auch daneben gehen, abhängig davon wie die Strategie ist.
Bei einer vernünftigen Anbindung über das I-Net könnte man auch RTRR nehmen von NAS zu NAS, das kann automatisch mitlaufen oder als Job geplant über Nacht. So halte ich die Mediendaten vom "Filme"-NAS zum Sicherungs-NAS auf aktuellem Stand. Wobei in diesem Fall nur ein Ziel da ist und eine Quelle.

 

[Tepesch]

+1 für rsync
Nutze ich mit 2x QNAP NAS an 2 Standorten, benötigt aber auch etwas Bandbreite und ne VPN zwischen den Standorten läuft aber echt 1A

 

[duAffentier]

Wenn er Online nichts machen will, dann gehts ja nur Offline. Und da ist vieles Manuell nur möglich.