Nachhaltige, skalierbare NAS-Lösung (Große Datenmengen)

[Autokiller677]

In Sachen Offsite-Backup kann ich mich @BeBur nur anschließen - wenns um Firmendaten geht, ist das Pflicht, sonst ist irgendwann der Schaden (und das Geheule) groß.

Was DAS für aktive Projekte angeht - ich sehe das nicht so sinnvoll, weil die dann wieder manuell ins Backup übertragen werden müssen, idealerweise alle paar Stunden, spätestens jeden Abend.
Die Erfahrung sagt dazu: Ein Backup, dass nicht automatisiert ist, existiert nicht. Dass der Endnutzer regelmäßig Daten von irgendeiner externen SSD backupt, funktioniert nicht zuverlässig.

Entweder die User ziehen sich die Sachen lokal auf ihre interne SSD, und es läuft alle paar h automatisch ein Backup dieser SSD, oder es liegt alles zentral irgendwo und verlässt diesen Ort nicht.
Ansonsten wird man an den Punkt gelangen, an dem der Arbeitsfortschritt von mehreren Tagen oder sogar Wochen nicht ins Backup geht.

Am Ende des Tages ist Videoproduktion und Bearbeitung leider einfach eine ziemliche Hardware-Schlacht, sofern man sich an Best Practices für Backups und co. halten will. Ein High-Speed Server (idealerweise SSD only mindestens für den Teil, wo aktive Projekte liegen und drauf gearbeitet wird) ist teuer, 10G+x Netzwerk ist teuer, schnelles Internet ist teuer, und die PCs die ordentlich 4k bearbeiten und in annehmbarer Zeit exportieren können sind auch teuer.

Edit: Kannst ja als Anregung auch mal dieses Video schauen:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Falls HDDs zu langsam sind oder 10G Netzwerk nicht reicht, kann man das immer noch upgraden.

 

[Skysnake]

Stündlich Backups machen doch gar keinen Sinn. Je nachdem hast du dann ja nur irgendwelches halbfertiges Zeug und musst auch erstmal schauen was denn da überhaupt jetzt gemacht ist oder nicht. Also wenn Daily nicht mehr reicht, dann bitte live replication. Dazwischen empfinde ich nicht als Sinnvoll.

Und bezüglich Backup von DAS. Klar, das macht man da eher nicht. Die Orginaldaten sollten aber schon noch irgendwo liegen. Fertige Zwischenschritte kann man auch gerne z.b. über WE ins Backup schieben. Aber täglich wird man das eher nicht machen. Dauert ja auch seine Zeit bei X TB...

Ich sehe das aber auch nicht als so dramatisch an. Wenn ne Firma (aus dem produzierenden Gewerbe) den Verlust von einer Woche nicht verkraften kann ist Sie eh nicht gesund (Ausnahme Banken, Versicherungen, Handel). Was soll denn der Schreiner sagen? Soll der den neuen Schrank auch stündlich backupen am Besten noch offsite?

Sorry, ja Backups sind wichtig und best Practice sind gut, aber man darf nicht die Verhältnismäßigkeit aus den Augen verlieren.

Am Ende ist es immer eine Kosten nutzen Frage. Was passiert wenn ich Daten verliere und was muss ich machen um das zu verhindern. Wenn der Preis Tag für das Verhindern größer ist als der wenn es passiert, dann ist das nicht sinnvoll.

Der muss immer deutlich kleiner sein. Selbst wenn es einem das Genick bricht wenn es passiert, ansonsten passiert es ja schon allein dadurch das man es verhindern will. An der Stelle muss man sich natürlich dann fragen ob sich das alles überhaupt lohnt und nachhaltig ist....

 

[Autokiller677]

Ein Schreiner ist normalerweise gegen sowas versichert. Versicherungen gegen Datenverlust kosten meist mehr als ein ordentliches Backup.

Am Ende des Tages geht es aber ja auch nicht nur um den eventuellen Verlust der Daten von ein paar Tagen / einer Woche und dann den extra Lohnkosten, um das wiederherzustellen. Wenn man deshalb eine Deadline beim Kunden reißt und Vertragsstrafen zahlen muss, wird's schnell unangenehm, den Kunden hat man für die Zukunft dann wohl eh verloren, und eventuell spricht es sich auch rum. Die Folgekosten sind dann schnell sehr viel höher die reinen Arbeitskosten.

Ich würde daher nicht unter tägliches Backup gehen. Bei mir auf der Arbeit (F&E) ist es verboten irgendwas lokal zu lagern, und das Netzlaufwerk macht alle 2h einen Snapshot, alle 6h geht's offsite, und wöchentlich ein Band-Backup ins Bankschließfach.

Natürlich kann man am Ende des Tages auch einfach auf Risiko gehen und hoffen, dass der Supergau (großer Datenverlust knapp vor wichtigen Deadlines) nicht kommt. Aber ob man den Erfolg seiner Firma noch mehr auf Zufälle und Glück bauen will, als es eh durch die Natur der Sache schon gebaut ist, nur um einmalig ein paar k€ zu sparen... ich weiß ja nicht.

 

[Skysnake]

Und wie groß ist da der Wert pro GB an Daten?

Lass mich raten sehr hoch. Je nachdem dann eben auch nur kleine Änderungen pro Tag.

Bei TE ist das im Zweifel am Ende vom Tag nen neuer Datensatz von TB. Sprich du musst täglich eigentlich ein Vollbackup fahren und mindestens zwei Versionen vorhalten. Und jetzt denk mal an stündliches Backup wie hier zwingend gefordert....

Wie gesagt, man muss da einfach ganz nüchtern ne Kosten-Risiko Analyse machen und fertig. Wie hoch der Wert pro GB ist kann nur der TE sagen.

Aber aus eigener Erfahrung kann ich dir sagen, das selbst bei Animationsfilm weniger als täglich nen Backup gemacht wird. Da gab es so Späße wie Platten mim Taxi zwischen Studio und Rechenfarm hin und her fahren. Klar sind das Kosten, aber du kannst irgendwann einfach kein sinnvolles Backup mehr machen weil es einfach teurer wird als das einfach neu zu machen. Je nachdem lassen sich ja die Arbeitsschritte auch skripten und dann wirklich live replication fahren. Sind dann ja eher nur kB max GB an Daten.

Zeit geht ja oft drauf das man sich an ein Ergebnis ran arbeitet und nicht nur rein für das Finale Ergebnis. Das ist dann im Zweifel schnell erstellt, aber nochmals, das ist ne Rechnung die der TE aufmachen muss. Denn keiner kann sagen ob er in nem Vertrag 1 Mio Vertragsstrafe stehen hat oder nicht. So etwas ist aber entscheidend bei der Bewertung...

 

[Anko.]

Danke für all die Antworten - Freut mich wirklich sehr!
@snaxilian Du hast natürlich vollkommen recht! Ich muss mir zuerst Gedanken über all meine Anforderungen und den Use Case machen. Das habe ich auch mal, soweit es mir möglich war, gemacht und würde euch das gerne mitteilen. Falls ich irgendwelche besonderen Fragen, die geklärt werden müssen, nicht beantwortet habe, könnt ihr mir das gerne schreiben und ich ergänze es noch.

Meine Anforderungen (Use Case)​

• Das Backup soll einmal am Tag automatisiert laufen. Mehr als einmal am Tag ist nicht notwendig, da nicht so viele Daten jeden Tag zusammen kommen, dass man öfters am Tag oder sogar stündlich welche machen müsste. Dazu ist mein Unternehmen schlicht weg noch zu klein, dass sowas relevant wäre. Beim aktuellen Volumen geht es sich sogar aus, dass ich alle zwei Wochen ein Backup (manuell) mache und im Durchschnitt nur um die 50GB hinzukommen. Der Nachteil davon ist, dass die Schnitt-Dateien sich in den zwei Wochen massiv verändern kann und dieser Fortschritt im Schlimmsten Fall verloren ist. Deswegen finde ich tägliche Backups für notwendig.
• Speicherkapazität
  Aktuelle Situation: rund 5TB belegt. Laut meinen Hochrechnungen durch Umsatzprognose & Projektentwicklungen werde ich voraussichtlich nächstes Jahr mit meiner aktuellen Konfig (2x10TB in RAID1) an die Kapazitätsgrenze stoßen. Im Jahr 2024 würde ich dann voraussichtlich die Kapazitätsgrenze von 48TB (wenn ich mein aktuelles NAS in 4x16 RAID5 um konfigurieren würde) erreichen. Mit der Expansionseinheit für die DS918+ wären sogar insgesamt dann 114TB im RAID5 möglich. Dies sollte laut meinen Berechnungen eigentlich bis zum Jahr 2026 halten, also für die nächsten 5 Jahre.
• Langzeitaufbewahrung
  Da nach Projektabschluss nur mehr im äußersten Notfall auf Projekte zugegriffen werden muss (falls der Kunde noch etwas benötigt oder ich wiederverwenden kann), finde ich die Idee mit einem Cold Storage bzw. auch ein Backup auf Band sehr interessant. Leider habe ich in diesem Bereich noch kein Know-How und müsste mich erst hineinlesen.
• Hauptfokus bei der Sicherung
  Der Hauptfokus liegt bei den aktuellen Projekten, an denen gerade noch gearbeitet wird und ein wirtschaftliches Interesse besteht. Diese sollen einmal am Tag gesichert werden. Dateien von Projekten, die nur mehr zur Archivierung oder für äußerste Notfälle gedacht sind, müssen nicht zwangsweiße auf einem "Hot-Storage" sitzen und jederzeit verfügbar sein. Dazu würde ich wahrscheinlich alle Dateien zählen, die ich seit mehr als 2 Jahren nicht mehr benutzt habe.
• Wie wird aktuell gearbeitet?
  Aktuell wird von einer Person an einem PC gearbeitet. Der PC ist mit dem NAS verbunden. Ich bearbeite Dokumente, benutze die ganzen Adobe Programmen für die einzelnen Videoprojekte (Premiere Pro, After Effects, etc.) und sitze meist wochenlang auf einer einzigen Premiere Pro Datei rum. Das NAS dient als Dateiablage (Archiv) von Dokumenten, Videodateien. Da sowohl die Videodateien als auch das Projektfile am NAS liegen gibt es aber zwischendurch auch Geschwindigkeitsprobleme.
• Wie wird in Zukunft gearbeitet?
  Meine Arbeitsweise bleibt sehr wahrscheinlich dieselbe. Hinzu werden Mitarbeiter bzw. am Anfang andere Freelancer kommen, die mich bei meinen Projekten unterstützen werden. Hier gibt es in meinen Augen noch ein Problem, wie ich die Dateien den anderen Freelancern zur Verfügung stelle, da sie nicht in den selben Räumlichkeiten wie ich arbeiten werden. Ein paar Jahre später ist die Vision, ein kleines Büro zu haben wo alle Menschen, die was an den Projekten arbeiten, ihren Arbeitsplatz haben.

Ich denke, wenn mein Unternehmen sich wirklich zu einer großen Videoagentur entwickelt, wird sowieso der Punkt kommen, wo richtig fett in eine Serverstruktur investiert werden muss (die dann hoffentlich auch von Mitarbeitern geplant wird, die Experten auf dem Gebiet sind) und ich vermutlich nicht jetzt schon eine riesen große Infrastruktur aufbauen sollte. Ich denke, bis ich die möglichen 114TB meiner jetzigen Infrastruktur erreichen werde, werden noch ein paar Jahre vergehen, wo ich die Kosten wieder reinholen kann.

Hab auch schon an z.B. einen Tower von Terramaster gedacht (z.B D8 Thunderbolt 3, extra für Videobearbeitung). Eventuell kann man den Tower auch als Primär-Storage nehmen und die DS918+ als Backup Lösung... Ich weiß nicht, viele Möglichkeiten ....

---------------

Was meint ihr? Ich denke auch, dass so eine richtig große Infrastruktur mit mehreren hundert TB auch ein zu großes Risiko wäre (man weiß ja nie was passiert).

Und kleine Randanmerkung: Ich verrechne bei einem Projekt eine Datensicherungs-Gage die nach und nach die Kosten für die Anschaffung wieder reinholt. Das aktuelle NAS ist demnach schon fast wieder "abbezahlt".

​

 

[Autokiller677]

Was heißt die MA sind nicht in den gleichen Räumlichkeiten? Andere Räume im Gebäude? Völlig weg bei sich zuhause?

Wenn die eh nicht da sind, sondern die Daten immer irgendwie mit nachhause nehmen müssen, ist bei der schlechten Internetleitung von der du schreibst eh alles außer "externe Festplatte mitnehmen" hinfällig - das tägliche Backup wird dann aber kompliziert(er).

 

[Anko.]

Was heißt die MA sind nicht in den gleichen Räumlichkeiten? Andere Räume im Gebäude? Völlig weg bei sich zuhause?

Da ich noch kein Büro habe, sind die Mitarbeiter/Freelancern komplett wo anders (außerhalb des Gebäudes). Das wir in den selben Räumlichkeiten arbeiten werden, wird schätze ich noch um die 3 Jahre dauern.

 

[snaxilian]

Banken, Versicherungen, Handel

Banken, Versicherungen und manche Handelskonzerne fallen unter KRITIS und müssen gewisse Auflagen erfüllen und nachweisen, dass Sie sich Gedanken zu Themen die Härtung, Backups, viel wichtiger Wiederherstellung und BCM gemacht haben und werden dazu fortlaufend auditiert. Been there, done that.

Der beispielhaft genannte Schreiner hat idR. Versicherungen gegen Elementarschäden, etc. und der Vergleich materielle ggü. immaterielle Güter hinkt weil sich bei letzterem viele (kleinere) Firmen dazu kaum Gedanken machen oder erst wenn es zu spät ist.

@Anko. Hör doch mal bitte endlich damit auf an den Schriftfarben herum zu spielen. So wird es nur unleserliches Gematsche weil es entweder im hellen oder dunklen Modus nicht lesbar ist.

Das Backup soll einmal am Tag automatisiert laufen.

Anhand dieser Anforderungen ist Tape defacto schon raus denn es ist manueller Aufwand täglich nach Abschluss der Sicherung das Band mit zu nehmen und ein neues einzulegen.

Mit der Expansionseinheit für die DS918+

Bitte beachte bei so etwas: Volumes und Raids können nicht auf dem NAS und der Expansionseinheit übergreifend liegen. Du hättest also jeweils ein Raid und Volume auf dem NAS und ein weiteres auf der externen Box.

Langzeitaufbewahrung
[...] (falls der Kunde noch etwas benötigt oder ich wiederverwenden kann), finde ich die Idee mit einem Cold Storage bzw. auch ein Backup auf Band sehr interessant. Leider habe ich in diesem Bereich noch kein Know-How und müsste mich erst hineinlesen.

Überlege dir wirklich ob du verantwortlich sein willst und die Kosten und Aufwand haben willst für eine längere Aufbewahrung der Daten vom Kunden. Die Kosten und der Aufwand dafür müssen eingepreist sein. Wenn also vereinbart ist, dass du noch x Jahre Kundendaten aufheben willst/sollst muss der Kunde dies bezahlen. Ansonsten hast du Kosten für die niemand aufkommt was dein Gewinn schmälern oder im worst case das Geschäftsmodell nicht mehr tragfähig ist.
Wichtig beim Cold Storage ist auch die Wiederherstellbarkeit in x Jahren. Wer vor ~10 Jahren etwas archivieren wollte und Tape nahm der hat vermutlich LTO-5 oder -6 verwendet. Heutige LTO-Laufwerke ab LTO-8 Standard können solche 'alten' Bänder nicht mehr lesen. Du brauchst also immer auch die in der Zukunft die Möglichkeit so alte Daten auslesen zu können. Du stellst dir das glaube ich zu leicht vor.
Das Thema Archivierung und welche Technologie ich dazu einsetze sind zwei verschiedene Dinge. Ich kann problemlos digitalisierte Rechnungen für 10 Jahre aufbewahren und kann in der Zeit aber nacheinander drei verschiedene Softwareprodukte auf drei verschiedenen Hardwareplattformen verwendet haben. Relevant ist die Möglichkeit der Migration bzw. Export der Daten. Ist das nicht gegeben oder will ich mich nicht darum kümmern ist die logische Konsequenz: Ich muss auch in x Jahren noch die Hardware UND Software haben um die Daten auslesen zu können.

Wie wird aktuell gearbeitet?

Wie wird in Zukunft gearbeitet?

Aha und was genau willst du jetzt hier? Tipps und Möglichkeiten für aktuell oder für irgendwann in der Zukunft wo du selbst nicht einmal weißt ob, wann und wie das sein wird?

Gerade wenn ihr irgendwo verteilt sitzt musst du Klartext reden. Schickst du die Daten per HDD und Post zu den anderen? Ist vertraglich geregelt ob und wie Backups gemacht werden? Oder verlässt du dich auf den Freelancer und er sich auf dich und am Ende gibt es gar keine Backups?

Eine weitere Option wäre natürlich voll in die Wolken zu gehen. Daten liegen bei $Cloudanbieter und ihr greift auf virtuelle PCs bei $Cloudanbieter zu. 0 € Investitionskosten aber höhere laufende Kosten. Dafür braucht's keine eigenen Büroräume, keine Stellfläche + Strom + Klimatisierung für NAS/Server, etc.
Wenn Spielestreaming aus Cloud ins Wohnzimmer funktioniert dann sollte ja auch Videoschnitt vom Wohnzimmer in die Cloud machbar sein.

Eventuell kann man den Tower auch als Primär-Storage nehmen und die DS918+ als Backup Lösung

So oder so bedenke bitte die sinnvolle räumliche Trennung. Nein, Tower im ersten Stock und NAS im Keller ist NICHT räumliche Trennung. Kabelbrand am Schreibtisch zerstört die Daten im Tower und das Löschwasser der Feuerwehr dann die Daten im Keller.
Ja, das erfordert dann ausreichende Infrastruktur zwischen den Standorten oder wir sind wieder bei externen HDDs oder Tape die manuell mitgenommen werden müssen/sollten.

Ich weiß nicht, viele Möglichkeiten ....

Genau und solange du nicht Tacheles redest ist der gesamte Thread halt nur Geschwafel^^

Denke bitte übrigens daran, dass ein Forum in beide Richtungen funktioniert. Egal für was du dich am Ende entscheidest, du solltest es hier am Ende für die Helfenden und andere dokumentieren die vor der gleichen oder vergleichbaren Situationen stehen.

 

[Autokiller677]

Dann ist die ganze Diskussion über "alle arbeiten direkt auf dem NAS" wohl für die nächsten 3 Jahre auch erstmal hinfällig, und jetzt Hardware für ein vielleicht soweit in der Zukunft zu kaufen, ist nicht sinnvoll.

Daher wie ich oben gesagt hatte, läuft dann wohl auf das umhertragen externer Platten hinaus, und wenn das NAS daher quasi erstmal reines Datengrab ist / nur du aktiv drauf arbeitest, reicht da dann auch 1x10G Verbindung locker aus.

Mit dem wissen würde ich sagen: Eine abgespeckte Version von z.B. dem Video, dass ich verlinkt habe. Gehäuse, in dem viele Platten Platz finden, Mid-Level CPU, 10G Netzwerkkarte, fertig.

Backup wird dann halt knifflig - vermutlich müssen die Leute dann halt regelmäßig (täglich) vorbeikommen und man muss manuell Backups der externen Platten machen, aber wie oben schon geschrieben, zeigt die Erfahrung eher, dass das dann schleifen gelassen wird...

Halbwegs angenehm / automatisch würde man sowas nur hinbekommen, wenn die Internetleitungen (bei dir und den MA) so gut sind, dass man das am Ende des Tages darüber schieben kann.

EDIT:
Ansonsten wie @snaxilian sagt, Gedanken über die Vertragsmodalitäten mit den Freelancern machen, und auch mit den Kunden bzgl. Langzeit-Speicherung. Ich kenne es bei Fotografen z.B. eher so, dass da nur Aufbewahrung für wenige Monate mit drin ist normalerweise, und dann alles gelöscht wird.

 

[Anko.]

Danke für die wieder einmal sehr aufschlussreichen Antworten!
Ich habe mir die letzten 2 Stunden noch einmal Zeit genommen und über die Struktur intensiv nachgedacht.
Daher würde ich euch noch um die Bewertung von der folgenden Struktur bitten:

Ich bin mir hierbei aber noch nicht sicher, ob ich wirklich auf der SSD vom lokalen PC schneiden soll, oder das NAS 10Gbit fähig machen soll und dann direkt vom NAS schneiden könnte.

Die wichtige räumliche Trennung bei den Backup erreiche ich durch die Cloud und erspare mir hohe Kosten für die komplette Sicherung in dem ich nur das sichere, was aktuell wirklich geschäftskritisch ist. Ich habe außerdem festgelegt, dass ich ab sofort die Projektdateien der Kunden nur noch für 1 Jahr aufbewahre und dafür einen Pauschalpreis verlange. (Gehören die dann aber auch in die Cloud, oder?). Alles darüber hinaus müssen die Kunden draufbezahlen, wenn ich die Dateien weiterhin lagern soll. Mit diesem Prinzip halte ich auch die Speicherkapazität für etliche Jahre sehr in Grenzen.

Die spannende Frage bei dieser Struktur wird noch sein, wie ich die Daten zu anderen Freelancern bekomme um zusammen zu arbeiten.... Evtl. das NAS übers Internet zugänglich machen? Wäre das eine Option für euch? Stichwort Sicherheit

 

[Autokiller677]

Ich sehe den Sinn im TerraMaster noch nicht.

Erstmal sind die Kabellängen bei Thunderbolt sehr begrenzt, den aus dem Büro mit dem NAS zu verbinden wird nichts (hat das NAS überhaupt einen TB3 Anschluss?)

Ich würde da einfach über ein größeres NAS nachdenken, bzw. aktuell erstmal einfach das aktuelle benutzen und schauen, wann die Kapazität knapp wird. Wenn du aktuell nur 5TB hast, kämst du mit 4x16TB ja immerhin auf 48TB nutzbaren Speicher, das dürfte noch was reichen, vor allem, wenn du Projekte nicht ewig speicherst.

Backup in die Cloud grundsätzlich gut, aber mit der Internetverbindung halt fraglich - und das ist auch der Punkt, wo ich die MA in Probleme laufen sehe. Aus dem Internet zugänglich machen geht (ich würde nicht direkt das NAS ins Internet stellen, sondern den MA per VPN einen Zugang ins lokale Netzwerk geben), aber wenn die Internetverbindung so lahm ist, macht das für keinen Spaß...

Achso, zum Backup: Auch mal über Versionierung nachdenken. Falls mal aus Versehen eine Datei gelöscht wird / ein Trojaner mitten in der Nacht anfängt alles zu verschlüsseln, soll das ja nicht direkt beim nächsten Sync auch in der Cloud alles weg sein.

 

[Skysnake]

Das Backup soll einmal am Tag automatisiert laufen. Mehr als einmal am Tag ist nicht notwendig, da nicht so viele Daten jeden Tag zusammen kommen, dass man öfters am Tag oder sogar stündlich welche machen müsste.

Bist du dir GANZ sicher?

Zudem musst du das initiale Backup bedenken.

Beim aktuellen Volumen geht es sich sogar aus, dass ich alle zwei Wochen ein Backup (manuell) mache und im Durchschnitt nur um die 50GB hinzukommen.

Pro Woche 50GB dazu? Das bedeutet schon bei 1Gbit/s mindestens 400s. Das geht ja noch, aber du meintest ja deine Leitung ist nicht sonderlich gut. Also nehmen wir mal 20MBit/s Upload an. Dann sind das schon mindestens 5.5 Stunden für den Upload.

Und ich habe irgendwie meine Zweifel das dein Projekt an dem du arbeitest nur 50GB groß ist. Incrementelles Backup kann ich mir kaum vorstellen, das das geht. Videos sind am Ende Binärdaten. Das lässt sich weder gut komprimieren noch gut mit nem Diff bearbeiten.

Der Nachteil davon ist, dass die Schnitt-Dateien sich in den zwei Wochen massiv verändern kann und dieser Fortschritt im Schlimmsten Fall verloren ist. Deswegen finde ich tägliche Backups für notwendig.

Siehe oben. Das schreit nach viel mehr Daten die beim Backup zu transportieren sind als du denkst.

Langzeitaufbewahrung
Da nach Projektabschluss nur mehr im äußersten Notfall auf Projekte zugegriffen werden muss (falls der Kunde noch etwas benötigt oder ich wiederverwenden kann), finde ich die Idee mit einem Cold Storage bzw. auch ein Backup auf Band sehr interessant. Leider habe ich in diesem Bereich noch kein Know-How und müsste mich erst hineinlesen.

Naja, du solltest versuchen dir nen schlanken Fuß zu machen und HDDs seh ich da nicht. Es ist bekannt, dass die schlecht einfach im Rehal liegen. Tape kann dagegen schon mal nen Jahr rumliegen im Tresor.

Du könntest deinen Kunden anbieten, dass du Backups machst, wobei sie eines für die Öagerung bei sich auf HDD oder Tape bekommen. Zudem könne sie ein Tape bei dir lagern und wenn Sie noch mehr zahlen überspielast du einmal im Jahr auf ein neues Tape. Das ist dann ok. Du sicherste denen aber nichts weiter zu, und verweist darauf dass die ja ne Kopie haben und damit erstmal selbst verantwortlich sind. Du bist nur das offsite Backup und hast die Daten falls doch nochmal was damit gemacht werden muss.

Das NAS dient als Dateiablage (Archiv) von Dokumenten, Videodateien. Da sowohl die Videodateien als auch das Projektfile am NAS liegen gibt es aber zwischendurch auch Geschwindigkeitsprobleme.

Und jetzt willst du da noch Mitarbeiter oder Freelancer über deine schmale Internetleitung drauf lassen?

Sorry, aber die Daten musst du auf HDDs verschicken per Kurier. Alles andere wird nicht funktionieren. Das heißt aber auch kein Backup für Die Zeit der Bearbeitung, es sei denn zu schickst gleich zwei DAS mit und spiegelt.

Meine Arbeitsweise bleibt sehr wahrscheinlich dieselbe. Hinzu werden Mitarbeiter bzw. am Anfang andere Freelancer kommen, die mich bei meinen Projekten unterstützen werden. Hier gibt es in meinen Augen noch ein Problem, wie ich die Dateien den anderen Freelancern zur Verfügung stelle, da sie nicht in den selben Räumlichkeiten wie ich arbeiten werden. Ein paar Jahre später ist die Vision, ein kleines Büro zu haben wo alle Menschen, die was an den Projekten arbeiten, ihren Arbeitsplatz haben.

Siehe oben. Das wird mit den großen Dateien eher schlecht funktionieren in Deutschland mit dem schlechten Netz...

Banken, Versicherungen und manche Handelskonzerne fallen unter KRITIS und müssen gewisse Auflagen erfüllen und nachweisen, dass Sie sich Gedanken zu Themen die Härtung, Backups, viel wichtiger Wiederherstellung und BCM gemacht haben und werden dazu fortlaufend auditiert. Been there, done that.

Ich habe nen KRITIS Kunden zu betreuen. DAS ist ein Spaß.... hör mir bloß auf..

Der beispielhaft genannte Schreiner hat idR. Versicherungen gegen Elementarschäden, etc. und der Vergleich materielle ggü. immaterielle Güter hinkt weil sich bei letzterem viele (kleinere) Firmen dazu kaum Gedanken machen oder erst wenn es zu spät ist.

Eine weitere Option wäre natürlich voll in die Wolken zu gehen. Daten liegen bei $Cloudanbieter und ihr greift auf virtuelle PCs bei $Cloudanbieter zu. 0 € Investitionskosten aber höhere laufende Kosten. Dafür braucht's keine eigenen Büroräume, keine Stellfläche + Strom + Klimatisierung für NAS/Server, etc.
Wenn Spielestreaming aus Cloud ins Wohnzimmer funktioniert dann sollte ja auch Videoschnitt vom Wohnzimmer in die Cloud machbar sein.

An sich wäre das wohl sinnvoll, aber mit der miesen Anbindung und den großen Datenmengen wird das nichts.

 

[Anko.]

Ich sehe den Sinn im TerraMaster noch nicht.

Erstmal sind die Kabellängen bei Thunderbolt sehr begrenzt, den aus dem Büro mit dem NAS zu verbinden wird nichts (hat das NAS überhaupt einen TB3 Anschluss?)

Guter Punkt. Die Überlegung war hier generell einen 2. Server als Backup aufzustellen.

Backup in die Cloud grundsätzlich gut, aber mit der Internetverbindung halt fraglich - und das ist auch der Punkt, wo ich die MA in Probleme laufen sehe. Aus dem Internet zugänglich machen geht (ich würde nicht direkt das NAS ins Internet stellen, sondern den MA per VPN einen Zugang ins lokale Netzwerk geben), aber wenn die Internetverbindung so lahm ist, macht das für keinen Spaß...

Die Bindung an meinen aktuellen Internetvertrag mit ca. 30 Mbit/s Download und 10 Mbit/s Upload läuft diese Woche aus. Aktuell bin ich gerade auf der Suche nach einem neuen besseren. Glücklicherweise wurde anscheinend meine Internetleitung ausgebaut sodass ich nun eine Geschwindigkeit von 300Mbit/s Down und 50 Mbit/s Up haben könnte. Meint ihr, dass die 50 Mbit/s Upload für eine Backup Strategie in der Cloud ausreichen würden? Hab das Unternehmen auch noch angeschrieben, ob man eventuell den Upload gegen Aufpreis noch höher schrauben könnte. Mal sehen, was sie antworten.

Falls das alles klappen würde, wäre die simpleste Lösung das aktuelle NAS auf 4x16TB umzubauen und in die Cloud zu backupen.

Danke auch für den guten Tipp mit VPN Zugang. Daran hab ich gar nicht gedacht.

Achso, zum Backup: Auch mal über Versionierung nachdenken. Falls mal aus Versehen eine Datei gelöscht wird / ein Trojaner mitten in der Nacht anfängt alles zu verschlüsseln, soll das ja nicht direkt beim nächsten Sync auch in der Cloud alles weg sein.

Good Point, ich glaub man kann aber bei HyperBackup von Synology das sogar einstellen. Müsst ich nachsehen. Danke für den Hinweis!

Bist du dir GANZ sicher?

Zudem musst du das initiale Backup bedenken.

Wäre stündlich in deinen Augen sinnvoller?
Ja, die Erstsicherung wird sicher einiges an Zeit beanspruchen. Aber ist ja zum Glück nur einmalig.

Pro Woche 50GB dazu? Das bedeutet schon bei 1Gbit/s mindestens 400s. Das geht ja noch, aber du meintest ja deine Leitung ist nicht sonderlich gut. Also nehmen wir mal 20MBit/s Upload an. Dann sind das schon mindestens 5.5 Stunden für den Upload.

Und ich habe irgendwie meine Zweifel das dein Projekt an dem du arbeitest nur 50GB groß ist. Incrementelles Backup kann ich mir kaum vorstellen, das das geht. Videos sind am Ende Binärdaten. Das lässt sich weder gut komprimieren noch gut mit nem Diff bearbeiten.

Also wenn ich die neue Leitung mit 50 Mbit/s Upload bekommen würde, dann wären 50GB ca. 2 Stunden. Das geht finde ich voll. Natürlich sind nicht alle Projekte nur 50GB groß, keine Frage. Das ist nur der aktuelle Durchschnitt.

Wieso sollte ein Inkrementelles Backup nicht funktionieren? Das einzige, was sich verändert ist die Projektdatei, würde er die dann nicht updaten? Das wäre nämlich dann ein Problem.

An sich wäre das wohl sinnvoll, aber mit der miesen Anbindung und den großen Datenmengen wird das nichts.

Ab welcher Upload Geschwindigkeit würde es für dich sinnvoll sein?

 

[snaxilian]

Die Überlegung war hier generell einen 2. Server als Backup aufzustellen.

Das Terramaster Ding ist aber kein Server sondern ein simples DAS. Das sind zwei vollkommen verschiedene Dinge.

und in die Cloud zu backupen.

Sind dir die laufenden monatlichen Kosten dafür bewusst/bekannt?

Danke auch für den guten Tipp mit VPN Zugang. Daran hab ich gar nicht gedacht.

Dann denke auch gleich daran deinen zukünftigen ISP zu fragen ob du vernünftiges Dualstack bekommst oder nur DSlite/CGN.
Ebenso solltest du dann daran denken, dass dein VPN-Server auch die Bandbreite auslasten können sollte wenn du remote Daten bearbeiten willst. Die Latenz ist natürlich dann abartig lahm übers Internet.

HyperBackup von Synology das sogar einstellen.

Ja, das kann Versionierung. Du könntest dir auch die business Variante davon ansehen, die bietet zusätzlich eine synchrone Datenhaltung mehrerer NAS bei häufig genutzten Daten oder manuell festgelegten. Du könntest theoretisch also mehrere (kleinere) Synology NAS kaufen und diese an die Freelancer versenden. Vertraglich vereinbaren, dass die Freelancer mindestens einmal täglich ihre bearbeiteten Daten auf dem NAS ablegen müssen und dann laufen von da Backups in die Cloud. So zumindest die Theorie. Aber nochmal: Du willst damit Geld verdienen, für Details erwarte ich mehr Eigenleistung oder du solltest entsprechend einen Admin/Systemhaus mit der Einrichtung beauftragen und nicht blind hier glauben was dir Harvey der freundliche Forumshase empfiehlt.

Ich habe nen KRITIS Kunden zu betreuen. DAS ist ein Spaß.... hör mir bloß auf..

Ich arbeite in einem KRITIS Unternehmen, erst paar Jahre auf Ops Seite, jetzt in der Security. Ja, das ist ein Spaß aber erstaunlicherweise immer noch eine bessere und stabilere IT als ich in den KMUs und Konzernen vorher erlebt habe weil IT da auf Verschleiß gefahren wurde, kostete ja nur Geld...

 

[Skysnake]

Wieso sollte ein Inkrementelles Backup nicht funktionieren? Das einzige, was sich verändert ist die Projektdatei, würde er die dann nicht updaten? Das wäre nämlich dann ein Problem.

Also sind die files max 50GB groß? Wenn ja, dann ja wird das geupdated. Binärdateien lassen sich halt schlecht diffen. Daher werden die normal immer als ganzes übertragen, selbst wenn sich quasi nichts ändert. Wenn du also 1MB in ner 1TB Datei änderst musst du davon ausgehen, das 1TB übertragen werden im schlimmsten Fall.

Mehrere kleine Binärdateien sind da also besser. Musst du aber an sich einfach mal testen. Es ist auf jeden Fall nicht egal.

 

[Rickmer]

Je nachdem wie genau das Backup implementiert wird kann sich das auch unterscheiden.

Beispiel, das ich kenne: Backup einer Datenbank (Backup-Datei des Veeam Backup for Office 365, welches dann zusätzlich ins Band-Backup soll)

• mit File Level Backup wird jedesmal die gesamte Datenbankdatei neu ins Backup geschrieben
• mit Volume Level Backup können vernünftige Incrementals erstellt werden, die immer nur die Änderungen innerhalb der Datenbank erfassen

 

[Skysnake]

Ja, wie gesagt, kann sein das es geht, aber kann auch sein das es nicht geht. Das sollte man halt VORHER testen.

 

[Anko.]

So, ich habe mir die letzten Tagen nochmal Zeit gegeben um über dieses Thema nachzudenken und zu recherchieren und ich habe jetzt einen Plan festgelegt, den ich verfolgen werde (Feedback dazu natürlich gerne erwünscht!).

Ich würde den folgenden 4-Phasen-Plan umsetzen:
1. Einen neuen Internettarif abschließen.
Anscheinend wurde bei meinen Standort eine neue Internetleitung verbaut, wodurch bis zu 300Mbit/s Down und 50 Mbit/s Upload möglich sind. Ich werde einen Vertrag abschließen, wo ich 150Mbit/s Download und 40 Mbit/s Upload habe. Bei Bedarf kann ich auch noch auf 300/50 Mbit/s upgraden.

2. Backup in der Cloud einrichten
Durch die neue Internetverbindung wird es möglich sein, mein Backup in die Cloud zu verlagern. Das vereinfacht die Situation enorm und ich muss mich nicht um ein 2. Physischen NAS System kümmern.

3. Wenn die Kapazitätsgrenze von den aktuellen 2x10TB im Synology DS918+ erreicht ist, werde ich einen Switch zu 4x16TB machen (48TB Speicherkapazität).

4. Da ich ja direkt über das NAS die Videos bearbeite, wird irgendwann der Zeitpunkt kommen (z.B. bei einer neuen Kamera, etc.) wo die Performance nicht mehr ausreicht. Hier würde ich auf eine 10Gbit Leitung upgraden. Da das Synology DS918+ NAS kein 10GBit unterstützt würde ich dann einen Switch auf ein neues NAS machen (vielleicht das DS1821+ mit 8 Einschüben und guter Skalierbarkeit). Dieses NAS sollte dann auf jeden Fall für viele Jahre reichen.

----------------------------------------------------

Zum Thema Backup:
Das Backup werde ich stündlich per Hyper Backup (Software von Synology) laufen lassen. Hierbei werden nur die Daten gesichert, die sich geändert haben.

Zum Thema Workflow mit anderen Freelancern:
Hierzu werde ich einen VPN-Zugang einrichten mit entsprechenden Berechtigungskonzept. Danke an @Autokiller677 für den Tipp!

Ergänzung (4. Oktober 2021)

Ergänzung: Das Verrechnungsmodell für den Kunden habe ich auch dementsprechend angepasst um die Kosten für die Speicherung zu decken.

 

[snaxilian]

Da ich ja direkt über das NAS die Videos bearbeite, wird irgendwann der Zeitpunkt kommen (z.B. bei einer neuen Kamera, etc.) wo die Performance nicht mehr ausreicht. Hier würde ich auf eine 10Gbit Leitung upgraden.

Sorry aber der Flaschenhals ist bei deinem Vorhaben NICHT die Bandbreite bzw. nicht zuerst sondern die Latenz der HDDs bei wahlfreien/zufälligen Zugriffen. Also die Zeit bis die Lese-/Schreibköpfe an der richtigen Position sind und anfangen können die angeforderten Daten auszulesen.
Probiere es aus und wenn der Leidensdruck hoch genug ist solltest du ernsthaft in Erwägung ziehen dem NAS ein oder zwei SSDs als Cache zu verpassen. Nein, ein Cache ist kein Allheilmittel und hat gewisse Einschränkungen. Diese sind in der Doku von Synology genannt und wurden auch schon zig mal in diversen Foren diskutiert, u.a. auch in diesem Forum --> Suche benutzen.

Wenn dir die Bandbreite nicht ausreicht: Die 918+ hat zwei NICs. Wenn du deinem PC noch eine zweite NIC spendierst dann könntest du SMB Multichannel verwenden und Daten zwischen NAS und PC mit 2 GBit/s austauschen. Nein, du brauchst dafür keinen speziellen Switch denn ich meine explizit SMB Multichannel und nicht LACP/LAGs. Damit könnte man zwar auch mehrere NICs "bündeln", eine einzelne Übertragung zwischen einem PC und dem NAS ist aber im Regelfall auf die Bandbreite einer einzelnen NIC limitiert (wenige und speziell zu konfigurierende Sonderwege mal ignoriert). Beispielhafte Anleitung: https://www.german-syslinux-blog.de...ynology-nas-und-windows-10-client-einrichten/
Soll angeblich auch mit IPs im gleichen Subnetz funktionieren aber mangels einer Syno kann ich das nicht verifizieren. Müsstest ausprobieren oder selbst recherchieren.
Vorausgesetzt natürlich dein Client kann auch SMB Multichannel, zumindest bei Windows 10/11 ist das der Fall und die meisten aktuellen Linux Distributionen können es ebenfalls. *BSD als Client keine Ahnung, als Server ja und Mac keine Ahnung und natürlich vorausgesetzt du nur SMB und nicht AFP, NFS oder sonstige Protokolle.