Neuer Netzwerkspeicher - Kaufberatung

[Azghul0815]

Danke für die Erklärung.

 

[Donnerkind]

Ich habe dadurch meine rsync Skripte Richtung NAS so umgebaut, dass ich mit den über Tage aufgebauten Cache nicht kaputt mache.

Darf ich aus Neugier mal fragen, was du da gemacht hast, bzw. warum (außer durch viel Datenvolumen) dein Rsync den Cache kaputt gemacht hat und jetzt nicht mehr? Letztlich kopiert rsync Dateien. Und wenn Linux was kopiert, dann ist das Kopierte doch erstmal im Cache.

Aber ansonsten: ja, Cache ist geil. Ich habe "nur" 32 GB RAM im PC, das Maximum für dieses Haswell-System, aber ich freue mich immer wieder drüber. Wenn ich z.B. was von ner externen Festplatte gucke und nach Stunden nochmal irgendwas mit den Dateien machen will (z.B. neu muxen, weil ich beim Gucken Fehler in den Untertiteln korrigiert habe), dreht die Platte nicht wieder an, denn es ist noch alles im Cache.

 

[oicfar]

Darf ich aus Neugier mal fragen, was du da gemacht hast, bzw. warum (außer durch viel Datenvolumen) dein Rsync den Cache kaputt gemacht hat und jetzt nicht mehr? Letztlich kopiert rsync Dateien. Und wenn Linux was kopiert, dann ist das Kopierte doch erstmal im Cache.

rsync liest die Dateien und kopiert diese bei mit auf den NAS. Durch diese Operation wird der Cache mit den zu kopierenden Dateien vollgestopft. Das sollte aber nicht sein. Ich mache mein rsync 1x in der Woche. Und es sind ~400GB an Daten, die hier abgeglichen werden. Manche werden gelöscht, manche kommen hinzu und manche werden überschrieben. Mein rsync ist nun so, dass es den Cache nicht kaputt macht und sich nicht in den Vordergrund drängt. Ich kann mein Skript auch laufen lassen, wenn ein wenig Last auf dem System ist und es wird vom Linux Scheduler nach hinten geschoben. ich poste nachher, wenn ich an meinem Rechner sitze das Skript hier.

Aber ansonsten: ja, Cache ist geil. Ich habe "nur" 32 GB RAM im PC, das Maximum für dieses Haswell-System, aber ich freue mich immer wieder drüber. Wenn ich z.B. was von ner externen Festplatte gucke und nach Stunden nochmal irgendwas mit den Dateien machen will (z.B. neu muxen, weil ich beim Gucken Fehler in den Untertiteln korrigiert habe), dreht die Platte nicht wieder an, denn es ist noch alles im Cache.

Im PC habe ich 64GB RAM. Aber da kommt kein Vorteil, weil mein PC auch jeden Tag runtergefahren wird. Da brauche ich den RAM für paar Tools, wenn ich diese nutze.

 

[oicfar]

@Donnerkind hier ist mein Skript

#!/bin/bash

TO_EMAIL='...'
MAIL_SERVICE_JAR="/.../mail_service.jar"
RSYNC_LOG=/tmp/rsync_repositories.log

if [[ ! -f /clusterfs/mycloud.check ]] ; then
    echo 'File "/clusterfs/mycloud.check" is not there, aborting.' > $RSYNC_LOG
    nice java <send mail>
    exit
fi

nice java <send mail>

# see nocache
NOCACHE=
if [ -x /usr/bin/nocache ]; then
  NOCACHE="/usr/bin/nocache"
fi

# see ionice -c3
IONICE=
if [ -x /usr/bin/ionice ] &&
  /usr/bin/ionice -c3 true 2>/dev/null; then
  IONICE="/usr/bin/ionice -c3"
fi

# rsync
$NOCACHE $IONICE nice rsync -avzh --delete /git/repositories/ /clusterfs/backup/repositories/ >> $RSYNC_LOG

nice java <send mail>

 

[PQ_Trainer]

Prosit Neujahr, meine erste Nachricht. Ich hoffe ich mache nicht allzuviel falsch ^^
Ich habe auf meinen (uralten) Seagate NAS Armor N220 mit 2x1TByte im Raid1 schon länger Zeit keinen Platz mehr und will nun eine bessere Lösung als die wichtigen Daten auf externe über USB angeschlossene Laufwerke zu verteilen.
Folgende Möglichkeiten habe ich überlegt:
ad. 1. Das Armor NAS aufzustocken. Dieses kann max. 2x3 TB verwalten wobei die HDs nun durch neuere 4 TB Versionen ersetzt wurden. Darum dachte ich, dass ich 4TB HDs einfach auf nur 3 TB partitioniere und damit dem NAS "unterjubeln" kann^^
Die Firmware ist auf Letztstand und die Betriebszeit ist sehr gering da nur zum Backup eingeschaltet.
Es scheint eine Begrenzung durch das OS zu sein
Weiß da wer Bescheid ?
ad. 2. Ein Neues oder vielleicht auch Gebrauchtes anzuschaffen wobei die Bandbreite betreff Features und Preisen sehr hoch ist. Ich habe mir die QNAPs angesehen und auch ein gebrauchtes "QNAP TS-251 + 16GB RAM 2x8 TB Seagate Ironwolf" um Euro 450.- gefunden. Bezeichnung der HDs Seagate Ironwolf ST8000VN002.
Die HDs sind allerdings von 2017 und ich bin dabei die SMART Daten vom Verkäufer nach zu fragen.
Wäre eine Kosten günstige Lösung wenn die HDs einwandfrei sind.
Was meint ihr dazu ?
ad.3. Nur angedacht: Eine Lösung die alle Stückerln spielt, quasi als Multimedia Center mit 4K 60Hz Ausgang
zum streamen usw. Allerding geht es dann über 1000 Euro. Speziell da ich refurbishd 2 Fujitsu Lifebooks mit I 3-8130u um 149.- Euro eingekauft habe welche 3 Monitore inkl. 4K parallel ohne Probleme versorgen^^
Eines habe ich auf 16 Giga RAM für meine Linux Tests das andere auf 32 Giga für Windows 11 Pro hoch gerüstet. Ich denke da macht so ein "SUPER" NAS keinen Sinn da in denen welche ich gesehen habe meist ein Celeron werkelt welcher schwächer als der I3-8130u ist.
Wäre also möglich eines davon mit der QNAP oder ähnlicher Software umzurüsten quasi als Eigenbau NAS.
Was meint Ihr ? Viel Aufwand ?
An und für sich habe ich schon vor den PCs mit proprietären Rechnern gearbeitet und meinen ersten Rechner 1980 einen Sinclair ZX80 zusammen gelötet sowie meine PCs über Jahrzehnte auf und umgebaut bis ich dann ab ca. 1998 auf Notebooks umgestiegen bin.
Aber ich bin nicht mehr auf Wissens letztstand und will auch keinen sehr hohen Aufwand mehr treiben^^
Bitte um Rückmeldung.

Ergänzung (3. Januar 2024)

Nachtrag betreff eventuelle Unklarheiten: Am Markt wurden die 3 Gigabyte HDs durch neue 4 TByte ersetzt.
Die Euro 149.- für die Lifebooks sind pro Stück mit 8 Gigabyte RAM und NVME 256 Giga SSD.

 

[oicfar]

Prosit Neujahr, meine erste Nachricht. Ich hoffe ich mache nicht allzuviel falsch ^^

Prost.

Wäre besser, wenn du eigenen Thread aufmachst. Dann ist es richtig.

 

[PQ_Trainer]

Sorry, habe ich jetzt getan. Falls mein Beitrag da stört bitte löschen.