Datentransfer PC auf NAS

[mec123]

Hallo zusammen,

ich betreibe seit Kurzem ein DIY-NAS bestehend aus einem Pi4+OMV und einer 3,5" HDD. Mein Problem ist der Transfer aufs NAS.

Die Daten einfach übers Netzwerk zu übertragen dauert ultralange. Meine (halbgare) Lösung ist es, einen USB-Stick zu verwenden, um ihn am Recher zu befüllen und danach ans Raspberry anzuschließen. Derzeit kämpfe ich mit dem Problem, dass danach der Stick schreibgeschützt wird und ich ihn jedesmal formatieren muss (btrfs).

Was ist denn hier die sinnvollste, bzw bei NAS-Systemem übliche Methode?

 

[Tulol]

Was ist denn hier die sinnvollste, bzw bei NAS-Systemem übliche Methode?

Netzwerk

 

[mec123]

Aber dann doch nicht mit dem Windows-Explorer, oder? Gerade bei kleinen Dateien zieht sich das doch ewig.

 

[Tobi-S.]

Ich glaub ich versteh das Problem nicht?

Falls ich es doch richtig auffasse hier meine Antwort:
Üblich ist eine Netzwerkfreigabe der entsprechenden Ordner und dann Zugriff darauf über das Netzwerk. Dieses kann auch als Netzlaufwerk eingebunden werden.
Oder du bindest über iSCSI ein auf dem NAS erstelltes Volume als "virtuellen lokalen Datenträger" ein.

 

[DeusoftheWired]

FTP oder NFS haben weniger Overhead als SMB. NFS bekommst du zumindest unter Windows aber nur mit einer Erweiterung zum Laufen. Empfehle deshalb FTP.

Und ja, bei der initialen Befüllung eines NAS dauert das leider seine Zeit, manchmal mehrere Tage mit 24/7-Betrieb des Quellrechners.

 

[Fujiyama]

Ich würde es einfach mal über ein paar Tage bzw über Nacht laufen lassen. Da hab ich bisher alles übertragen bekommen.

 

[redjack1000]

Die Daten einfach übers Netzwerk zu übertragen dauert ultralange.

Was genau bedeutet das? Nenne Fakten in MB/s und Zeit in Stunden/Min/Sek.

CU
redjack

 

[oicfar]

Aber dann doch nicht mit dem Windows-Explorer, oder? Gerade bei kleinen Dateien zieht sich das doch ewig.

Ja, kleine Dateien über Netztwerk zu kopieren/verschieben dauert länger als große. Aber hier spielt es ja keine Rolle, wie lange es dauert. Und ewig sicher nicht. Das Ende wirst du noch erleben.

 

[d3nso]

Aber dann doch nicht mit dem Windows-Explorer, oder? Gerade bei kleinen Dateien zieht sich das doch ewig.

Kommt auf die Gesamtgröße an. Was verstehst du unter ewig?

 

[oicfar]

Die Daten einfach übers Netzwerk zu übertragen dauert ultralange.

Hast du das bereits gestartet und welche zeit wurde dir angezeigt? Oder ist das eine Annahme?

 

[kartoffelpü]

Ich kann mir kaum vorstellen, dass doppeltes Kopieren (PC > USB-Stick, USB-Stick > NAS) schneller ist als direktes Kopieren (PC > NAS). Falls doch, läuft da irgendwas anderes gehörig schief.

 

[oicfar]

Übrigens der Progress Dialog in Explorer ist misst.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[GaborDenes]

NFS bekommst du zumindest unter Windows aber nur mit einer Erweiterung zum Laufen

NFS wird mit Win10 pro nativ unterstützt, muss nur in den zusätzlichen Features aktiviert werden.
Dürfte bei Win 11 ähnlich sein.

 

[zazie]

@mec123 : Da ist bei dir ein Überlegungsfehler drin. Zum einen musst du ja diese Kopieraktion, also den Datentransfer, nur einmal machen, wenn du übers Netzwerk gehst.
Zum andern würdest du beim Kopieren auf ein Zwischenmedium diese Kopieraktion zweimal durchlaufen lassen müssen, vom PC aufs Medium und von dort aufs NAS. Mit grosser Wahrscheinlichkeit ist die eigentlicher Kopiererer aufs bzw. vom Medium NOCH langsamer als übers Netzwerk - und das Ganze dann mal zwei

Ich kann dir aus eigenem Erleben versichern: es ist normal, dass der Vorgang Tage dauern kann, wenn man Hunderte von GB an Daten über ein Netzwerk kopiert und eines der beteiligten Geräte nur über einen schwachen Prozessor verfügt.
Aber wie gesagt: das macht man nur einmal, wenn man darauf achtet, ein Kopierprogramm zu verwenden, das "inkrementelle Backups" erlaubt. Inkrementell bedeutet: Beim nächsten Mal werden nur die Änderungen an den Daten üebrtragen - und das ist dann VIEL schneller.

 

[oicfar]

@mec123 um welche Datenmengen geht es hie überhaupt. Und wie viele Dateien sind es?

 

[mec123]

Ich habe mal eben nachgesehen. Ich habe zb 14GB, 166 Dateien übertragen, über USB (leider nur 2.0), in 13 Minuten, sind etwa 20MB/s.
Dann habe ich eine Datei übers Netzwerk übertragen, drag+drop von "C: \..." auf "\\Raspberry\...". Dauer weiß ich nicht mehr, aber es war eine einige Datei, etwa 700MB groß, laut Anzeige schwankte die Geschwindigkeit zwischen 0,8 und 1,5MB/s.
Selbst wenn ich die Geschwindigkeit der USB-Methode halbiere, weil ich zwei Schritte brauche, bin ich dennoch um ein weiteres schneller.

Die FTP/NFS Tipps werde ich mir sehr gerne anschauen.

 

[Skudrinka]

Pi4+OMV

Ist schon sportlich..
Mit einem ASUS Prime N100I-D D4, nen kleinem Pico PSU und Gehäuse würde deine Nas mehr Spaß machen.

Da wir die Transferraten noch nicht kennen, ist es aber schwer einzuschätzen, woran es liegt.

Ist deine Festplatte eine SMR?
Eine solche kann sehr sehr langsam werden

Ergänzung (29. April 2024)

zwischen 0,8 und 1,5MB/s.

Bitte mal die genaue Modellnummer der HDD nennen und selber Smart checken.

 

[CountSero]

@mec123
Ich glaub du hast falsche Vorstellungen was über eine Gigabit Ethernet Leitung an Daten geschaufelt werden können. Hinzu kommt noch, das der PI4 diese Leistung noch nicht einmal ausreizen kann.

Also wenn du die Maximale Bandbreite bekommen solltest beim Netzwerk wären ca. 125MB pro Sekunde möglich, das ist aber immer Wunschdenken und Idealfall.

Hinzukommt noch das beim PI4 sich der Ethernet-Port die Bandbreite mit dem USB teilt somit wird das noch etwas weniger als gewünscht weil du noch eine USB Platte dran hängen hast.

Zu dem Problem mit dem Kopieren, bei einer Bandbreite von 1GBit/s nutzt man nur in seltenen Fällen das Copy und Paste von MS. Ich habe 2,5GB zu meinen Server und selbst das nehme ich lieber ein Tool als copy and paste.



Ich bevorzuge SyncToy, das lass ich im Hintergrund arbeiten und wenn es bei der aktuellen Sitzung nicht alles geschafft wird gestoppt und beim nächsten mal neu starten. Das Tool prüft dann was schon übertragen wurde und macht dann da weiter wo es aufgehört hat.


Windows hat auch noch die FileHistory die auch im Hintergrund arbeitet, hier weiss ich aber gerade nicht ob das auf dauer von MS noch unterstützt wird.

Wie das aloles genau Funktioniert solltest du dir dann mal anlesen.

 

[d3nso]

Da stimmt aber etwas nicht mit deinem Aufbau oder der Konfiguration, denn selbst über den Windows Explorer sollten deutlich höhere Transferraten drin sein.

 

[StefanArbe]

schwer zu sagen an was es liegt. ich würde ja Pi4+OMV schon mal gar nicht nutzen...

kopierst du über WLAN?