Habe alle Fotos von allen Devices zusammengetragen, ca. 1 Mio Bilder und kleine Videos in ca. 20.000 Ordnern. Das totale Chaos. Jede Sortiersoftware, die ich bislang ausprobiert habe, bricht angesichts der Masse zusammen. Meine Idee: Die Fotos sollen nun schrittweise, also peu a peu in eine Photo-App auf einer NAS übertragen werden und dabei die sicher 500.000 Dubletten (die teils andere Dateinamen haben) filtern. Ich habe 7 Synology Diskstation von DS1621+ bis DS213j. Ein Upload auf eine der DS zu Synology Photo-App (Limit 5000 pro Session) ist sehr umständlich, zudem kann die Software wohl die Dubletten nicht zuverlässig filtern, sondern überspringt oder überschreibt einfach Dateien mit gleichem Namen. Wie steht es mit Asustor, Qnap oder Terramaster oder gar WD? Gibt es dort eine bessere Lösung? Die Geschwindigkeit spielt für mich nur eine untergeordnete Rolle. Von mir aus läuft der Upload Wochen, wenn am Ende nur das Ergebnis stimmt.
NAS für 1 MIO Fotos
- Ersteller LarionovC
- Erstellt am
Anscheinend hast Du Sachen ja schon irgendwo zusammen getragen. Und wenn es gefüht 50% doppelte Bilder gibt, warum sortierst Du die dann nicht vorher schon aus?
Einige m.M.n. durchaus brauchbare Tools dazu wurde hier genannt
https://www.computerbase.de/forum/threads/doppelte-bilder-und-videos-finden.2088673/
Welches Ergebnis erwartest überhaupt? Sollen alle Bilder erhalten bleiben (auch die doppelten), sollen nur die exakt identischen Bilder ausgefiltert werden oder sollen auch ähnliche Bilder (identischer optischer Eindruck, unterschiedliche Größen, Metadaten und/oder Kompression) automatisch ausgefiltert werden?
Einige m.M.n. durchaus brauchbare Tools dazu wurde hier genannt
https://www.computerbase.de/forum/threads/doppelte-bilder-und-videos-finden.2088673/
Wenn ich die Doku richtig verstehe, dann gibt es diese Einschränkung nur beim Upload per Drag&Drop mit dem Browser. Auch nur dabei scheint Photos keine Ordner zu unterstützen. Aber warum kannst (oder willst) Du die Dateien nicht per SMB mit den bereits vorhandenen Ordnern hochladen? Unterstützt Synology dabei keine Erkennung von doppelten Bildern?LarionovC schrieb:
Welches Ergebnis erwartest überhaupt? Sollen alle Bilder erhalten bleiben (auch die doppelten), sollen nur die exakt identischen Bilder ausgefiltert werden oder sollen auch ähnliche Bilder (identischer optischer Eindruck, unterschiedliche Größen, Metadaten und/oder Kompression) automatisch ausgefiltert werden?
Offensichtlich erkennt Photos keine Bilder in Unterordnern. Deswegen ist bzw. wäre bei rund 20.000 Unterordnern der Upload extrem mühsam. Alle Bilder sollen gerade nicht erhalten bleiben (die sind ja jetzt zusammengetragen gesichert). Es reicht völlig, wenn die exakt identischen Bilder ausgefiltert werden, aber eben auch diejenigen mit anderen Dateinamen. Dupeguru und Co. wie visipics131 und fotosortierer sind leider trotz i5-12400, 32 GB Ram und 4 TB SSD total überfordert mit 1.000.000 Files....
Wenn ich mit den 4TB rechne (ich wäre eher auf mind. 5 TB gekommen bei 5 MB/Bild), dann erreicht (m)ein Programm, das auf die Prüfsummenberechnung per Netzwerk/HDD optimiert ist, auch auf SSD nur ca. 120 MB/s. Viele kleine Dateien beschleunigung das ganze nicht unbedingt, da selbst bei einer Parallelisierung (die bei HDD und/oder Netzwerk grauenhaft einbricht) die Speicherung der Prüfsummen in einer lokalen Datenbank das ganze auch noch ausbremsen wird.
Bei 4 TB sind das dann immer noch ca. 10 Stunden, bis das Programm einmal alle Dateien gelesen und Prüfsummen erstellt hat. Selbst, wenn es auf einer SSD dreimal so schnell sein sollte (die restliche Performance geht im Dateisystem verloren, wenn man so viele kleine Dateien hat), sind das 3,5 Stunden bevor eine sinnvolle Analyse beginnen kann.
Danach läuft die Analyse, die auch nicht in Null-Zeit funktionieren wird. Und wenn das Programm dann nicht einfach blind doppelte Dateien löscht sondern dies irgendwie anzeigen will, dürfte in der Tat jede nicht auf solche Massen ausgelegt Software Probleme bekommen bzw. als 32 Bit Software kommentarlos abstürzen.
Versuche ich, die Tabelle meiner Bilddatenbank mit 451k Bildern komplett anzuzeigen, hat das Datenbanktool damit auch massive Probleme.
Ich glaube auch nicht, dass irgendein anderes Heim-NAS dafür bessere/performantere Software zur Verfügung stellt. Es würde mich schon eher wundern, wenn Synology mit iener Sammlung mit 500k-1 Mio Bilder überhaupt noch akzeptabel schnell arbeiten würde (außer, es genug Ram und eine SSD im NAS verbaut).
Da würde ich die bisher wohl recht unsortierten Bilder lieber manuell grob vorsortieren (z.B. Jahresmäßig, egal ob per Dateidatum oder per EXIF-Datum) und mit einem der Tools Duplikate entfernen. Das ganze ist aber nur aus dem Blickwinkel eines Entwicklers, der sich ein solches Aussortier-Script zur Not selber schreibt und den PC dann halt mal ein Wochenende durchlaufen lässt. Auf mehr wie ein paar 10k Bilder zum Vergleichen bin ich bei solchen Aktoinen aber noch nicht gekommen. Das wäre mir lieber wie ein paar Wochen Upload-Zeit auf das NAS einzuplanen.
Bei 4 TB sind das dann immer noch ca. 10 Stunden, bis das Programm einmal alle Dateien gelesen und Prüfsummen erstellt hat. Selbst, wenn es auf einer SSD dreimal so schnell sein sollte (die restliche Performance geht im Dateisystem verloren, wenn man so viele kleine Dateien hat), sind das 3,5 Stunden bevor eine sinnvolle Analyse beginnen kann.
Danach läuft die Analyse, die auch nicht in Null-Zeit funktionieren wird. Und wenn das Programm dann nicht einfach blind doppelte Dateien löscht sondern dies irgendwie anzeigen will, dürfte in der Tat jede nicht auf solche Massen ausgelegt Software Probleme bekommen bzw. als 32 Bit Software kommentarlos abstürzen.
Versuche ich, die Tabelle meiner Bilddatenbank mit 451k Bildern komplett anzuzeigen, hat das Datenbanktool damit auch massive Probleme.
Ich glaube auch nicht, dass irgendein anderes Heim-NAS dafür bessere/performantere Software zur Verfügung stellt. Es würde mich schon eher wundern, wenn Synology mit iener Sammlung mit 500k-1 Mio Bilder überhaupt noch akzeptabel schnell arbeiten würde (außer, es genug Ram und eine SSD im NAS verbaut).
Da würde ich die bisher wohl recht unsortierten Bilder lieber manuell grob vorsortieren (z.B. Jahresmäßig, egal ob per Dateidatum oder per EXIF-Datum) und mit einem der Tools Duplikate entfernen. Das ganze ist aber nur aus dem Blickwinkel eines Entwicklers, der sich ein solches Aussortier-Script zur Not selber schreibt und den PC dann halt mal ein Wochenende durchlaufen lässt. Auf mehr wie ein paar 10k Bilder zum Vergleichen bin ich bei solchen Aktoinen aber noch nicht gekommen. Das wäre mir lieber wie ein paar Wochen Upload-Zeit auf das NAS einzuplanen.
Rickmer
Fleet Admiral
- Registriert
- Sep. 2009
- Beiträge
- 22.085
Hast du Clone File Checker mal versucht?LarionovC schrieb:
https://easyfilerenamer.com/blog/2017/11/17/hash-md5-check-best-method-find-duplicate-files/
Ich teste gleich mal mit ca 88000 Bilder (370GB), aber das muss ich erstmal lokal kopieren weil das Programm von Netzlaufwerk anscheinend nichts wissen will...
Rickmer
Fleet Admiral
- Registriert
- Sep. 2009
- Beiträge
- 22.085
Nachtrag: Der Bilderkatalog wurde recht zügig durchscannt und rund 11000 Duplikate erkannt.
Ressourcenauslastung war dabei erstaunlich gering - 10% CPU, 5% GPU und nur wenige MB RAM wurden genutzt.
Ganz am Ende sah das Programm aus als ob es sich aufgehängt hat - aber nach ein paar Minuten Wartezeit hat es eine interaktive Liste aller Duplikate - nach Hash gruppiert - ausgespuckt.
Könnte also klappen mit deiner Million an Bildern.
Ressourcenauslastung war dabei erstaunlich gering - 10% CPU, 5% GPU und nur wenige MB RAM wurden genutzt.
Ganz am Ende sah das Programm aus als ob es sich aufgehängt hat - aber nach ein paar Minuten Wartezeit hat es eine interaktive Liste aller Duplikate - nach Hash gruppiert - ausgespuckt.
Könnte also klappen mit deiner Million an Bildern.
Ähnliche Themen
