anfrage datenbank

[whats4]

nein, an sich ned, weil ja hardwarevirtualisiert.
langsam, vergleichsweise, ist es, wenn die emulierten platten in wahrheit eine datei im filesystem von windows sind. und ganz schlimm ist es, wenn mehrere, die parallel angesprochen werden dann noch am selben datenträger liegen.
aber so eine virtuelle, die von einem physischen bootet, und die ensprechend der redundanz dann physische datenträger anspricht... dann ist es ned langsam.
kerne hast du viele, ram auch....

schau mal da vorbei: https://level1techs.com/
der youtube kanal ist: https://www.youtube.com/channel/UC4w1YQAJMWOz4qtxinq55LQ

dieser mann ist gut.

Ergänzung (9. Februar 2021)

freenas ist ein BSD unix, da, wo zfs zuhause ist.
mächtig.

und abgeschottet von deinem windows..

im prinzip ginge mit deiner hardware auch ein "bare metal hypervisor", auch "type 1 hypervisor" genannt.
esxi ist ein bekanntes beispiel.

was bedeutet: der hypervisor teilt sich ned die resourcen mit einem host system, er kriegt alle recourcen.

und alle betriebssysteme sind virtuelle maschinen, windows, linux, bsd unix, mac, irgendwas. alles parallel, wenn die hardware das hergibt.
sogar zocken kann man mit sowas, weil z.b die gaming graka direkt an z.b windows durchgereicht wird.

level1tech hat recht interressante artikel/videos dazu.
klar ist das, dann ein komplexeres thema, aber prizipiell... geht da sehr viel.

 

[AW4]

Mich würde mal ein handfestes Beispiel interessieren.
Deine Beschreibungen sind alle nur sehr vage, da eine sinnvolle Bewertung abzugeben, ist schwer.
Wer erzeugt die Ordner?
Machst du das per Hand oder Software?
Wenn ersteres, wie machst du das?
Wenn zweiteres, welche ist/sind das?
Wie viele Ordner sind das?
Ganz generell: Warum machst du das? ("Ordnung im Kopf" reicht da nicht, führ das etwas weiter aus., wir sollen dich ja verstehen können.)

Gibts überhaupt Daten?
Wer erzeugt die Daten?
Machst du das per Hand oder Software?
Wenn ersteres, wie machst du das?
Wenn zweiteres, welche ist/sind das?
Was für Daten landen da in den Ordnern?
Wie viele Daten landen in den Ordnern?
Wie groß sind die Daten, die da in den Ordnern landen?
Wie viele Datein sind das?

Wie greifst du auf die einzelnen Daten zu?
Machst du das per Hand oder Software?
Wenn ersteres, wie machst du das?
Wenn zweiteres, welche ist/sind das?

Wie oft greifst du auf die einzelnen Daten zu?
Legst du die einmal ab und lässt sie dann aus Dokumentationszwecken liegen?
Legst du die initial ab und arbeitest dann immer mal wieder dran, bis dein Projekt fertig ist und lässt sie dann aus Dokumentationszwecken liegen?
Legst du die ab und greifst dann immer mal wieder auf einzelne, auch alte, zu?

Verschiebst du Ordner?
Verschiebst du die Daten?

Machst du Backups?
Wenn ja, wie?

Durchsuchst du deine Ordner?
Wenn ja, wie machst du das?
Suchst du nach Dateien?
Wenn ja, wie machst du das?
Suchst du nach Daten in deinen Dateien?
Wenn ja, wie machst du das?
Wenn nein, willst du das?

Und alles andere, was dir einfällt und uns helfen kann, deine Organisation über deine Festplatte(n) und dessen Ausmaße zu verstehen.

 

[M@rsupil@mi]

diese lösung ist also nur temporär, oder nicht ?

Nein, weil nicht jedes Jahr einfach immer nur stumpf Ordner am Ende hinzugefügt werden.

Also im Bezug auf mein Beispiel würde der Ordner aus 2021
E:\Bilder 2021\Garten - Schneefall 2021\[...]
im Jahr 2050 so aussehen
E:\Bilder 2050\Garten - Schneefall 2050\[...]
Nicht ein Zeichen mehr, aber hat viele Jahre überstanden.

Dein Problem besteht schlicht darin kein gutes Konzept für Ordner, Unterordner & Namen zu haben.

Völlig egal mit wie vielen Explorer-Fenstern du arbeitest. Du versuchst Symptome durch Lösungen zu bekämpfen (etwa Datenbank), die überhaupt nicht für deinen Solo-Anwendungsfall ausgelegt sind.

 

[Raijin]

nun, einfacher gesagt alks getan..

Und du glaubst ernsthaft, dass du jetzt einfach eine Datenbank installierst, 3 Klicks machst und dann ist alles gut?

meine ordnerstruktuir ist sehr breit und sehr tief...

Da du aber keine Beispiele lieferst, kann man deine Abwehrhaltung auch nicht nachvollziehen. Mag sein, dass du Recht hast, kann aber auch sein, dass du einfach versuchst, dem Computer deine Denkweise aufzudrücken.

an meiner ordner struktur will ich nichts ändern denn ich bin ein kreativer mensch und ich muss meine dateien so ablegen wie ich es möchte ohne generve...

Auch das mag ja sein, aber ich sehe nach wie vor das Problem bei dir und nicht beim Computer. Ein Computer ist nicht kreativ und er kann Kreativität auch nicht nachvollziehen, er hat aber nun mal technische Grenzen, die man bei der Nutzung berücksichtigen muss - kreativer Anwender hin oder her

das gespräch mit meinem bekannten ergab sich dadurch dass ich ihn gefragt habe wie grosse unternehmen
mit ihren rieseigen datenmengen umgehen...

Da wird beispielsweise mit SAP gearbeitet. Kostet ein paar Euros. Aber auch in Firmen werden die Daten oft genug einfach nur in einer Ordnerstruktur gespeichert - unter Berücksichtigung etwaiger Limitationen durch die Pfadlänge.



Aber wie gesagt, es kann sein, dass du wirklich an Grenzen stößt und keinen Ausweg weißt. Das ist aber aus der Ferne kaum nachvollziehbar. Je nachdem nach welchen Kriterien du deine Daten sortierst und filterst, kann vielleicht auch sowas wie eine Collaboration Software nach dem Prinzip von Confluence, o.ä. helfen. Das ist im Prinzip wie eine Wiki wo Dokumente erstellt, aber eben auch Daten angehängt werden können. Intern speichert Confluence das weitestgehend in einem riesigen Dokumentenordner und verlinkt das auf der Content-Page, die letztendlich auch für die Struktur sorgen. Letztere muss man aber selbstredend selbst aufbauen. Confluence gibt es soweit ich weiß in einer günstigen 10-Benutzer-Version, aber ansonsten gibt es auch alternativen im OpenSource-Bereich.

 

[ksjdgzagt]

danke für mdie ausfürhliche antwort...ich melde mich, bin in stress... und deine mühe will ich mit respekt beantworten.

Wobei im Fall "Enable Long Paths" noch zu bedenken ist, dass man wohl Probleme mit Software bekommt, die eigene Datei- & Ordner-Funktionen einsetzt:

kannst du solche software nennen ? ich verstehe nicht ganz genau was du meinst...

 

[M@rsupil@mi]

@ksjdgzagt
Ich meinte damit: Möglicherweise ist nicht jede Software mit der optionalen "Long Paths"-Funktion kompatibel. Da nutzt man 20 Programme und hat keine Probleme, aber Software #21 funktioniert dann doch nicht. Mögliche Kandidaten, die mir so grob eingefallen und nicht unwichtig sind, hatte ich genannt. Lau BFF sieht es wohl insgesamt recht gut aus, aber im Worst Case bemerkt man das Problem erst, wenn es zu spät ist / nachdem man umgestellt hat. Willst du dann wieder bei 0 anfangen und neue Lösungen erarbeiten?

Es geht ja bei all dem nicht nur um einen funktionsfähigen Zustand im Feb. 2021, sondern möglichst um ein System & Konzept, was auch in 5, 10 oder gar 20+ Jahren funktioniert. Allerdings ändert sich ständig was. Windows als OS hat den Weg hin zu konstanten Änderungen eingeschlagen, man selbst als User ändert sich, es gibt neue Dienste (online) und Geräte. Dreh mal in Gedanken die Welt 10 Jahre zurück. Da spielten Smartphones, Tablets und die Cloud eine ganz andere Rolle. Womit, wie & wo wirst du in 10 Jahren deine Daten bearbeiten, verwalten, speichern, etc.? Kann doch keiner zu 100% sagen.

Insofern macht es IMO sehr viel Sinn auf ein System zu setzen, womit man maximal unabhängig ist (-> gute Ordnerstruktur und Namen). Dann ist es auch völlig egal, wie sich die IT-Welt wandelt, da man sich entsprechend leicht - und mit möglichst wenig Arbeit / Aufwand - anpassen kann.

 

[ksjdgzagt]

Also im Bezug auf mein Beispiel würde der Ordner aus 2021
E:\Bilder 2021\Garten - Schneefall 2021\[...]
im Jahr 2050 so aussehen
E:\Bilder 2050\Garten - Schneefall 2050\[...]
Nicht ein Zeichen mehr, aber hat viele Jahre überstanden.

wie machst du das genau ?
ich verstehe nicht nach welcher logik du so den pfad verkuerzt...

hilfst du mir zu verstehen ?
das klingt sehr interessant...

aber was nuetzt mich das letztendlich wenn der explorer oder andere
software den ganzen pfad beruecksichtigen ?

 

[Evil E-Lex]

Früher war es so, dass ein Pfad maximal 260 Zeichen lang sein durfte. Auch in Windows 10 war das noch so, aber seit Windows 10 Version 1607 kann man das anscheinend umstellen. Ich hab damit selber keine Erfahrung, aber schau dir mal den Link an.

Weil ich selbst mit "LongPathsEnabled" immer wieder auf inkonsistentes Verhalten gestoßen bin, hab ich mal etwas herumprobiert. Meine Experimente habe ich mit Windows 10 20H2 durchgeführt.
Der Windows Explorer unterstützt mittlerweile überlange Pfade, allerdings mit Einschränkungen:

• Auf dem Systemlaufwerk sind überlange Pfade möglich. Man kann auch Dateien anlegen und löschen, aber kurioserweise nicht umbenennen
• Auf allen anderen Laufwerken ist zwar die Navigation innerhalb der Verzeichnistruktur möglich, aber Dateien lassen sich nicht erstellen, löschen oder öffnen.

 

[ksjdgzagt]

Auf dem Systemlaufwerk sind überlange Pfade möglich.

standardmässig ?
oder mit besagtem umstellen auf "LongPathsEnabled" ?

Auf dem Systemlaufwerk sind überlange Pfade möglich.

das ist unguenstig, da kaum einer sein datengrab auf dem sys-laufwerk rumliegen hat.
das heisst aber man koennte irgendwann mal ...wenn m.2 hdds groesser und guenstiger werden
sein datengrab auf c parken und man könnte somit die vorzüge dieser überllangen pfaden
auf der sys-platte mitnutzen ? oder man nimmt eine grosse sata-hdd und nutzt es als sys-platte ?

Weil ich selbst mit "LongPathsEnabled" immer wieder auf inkonsistentes Verhalten gestoßen bin

genau, also ich davon gehört habe, bin ich auch zuerst euphorisch geworden.

ein pc-fachmann meines vertrauens riet mir davon ab solche einstellungen zu machen,
denn man weiss nie was man sonst fuer nebenwirkungen hat...und dann hat man noch groesseren stress.

du scheinst seine befuerchtungen zu bestaetigen.

 

[Evil E-Lex]

standardmässig ?
oder mit besagtem umstellen auf "LongPathsEnabled" ?

Standardmäßig vermutlich nicht. Da ich "LongPathsEnabled" seitdem es verfügbar ist gesetzt habe, kann ich nur zu dem Verhalten mit der Änderung Aussagen treffen.

datengrab auf c parken und man könnte somit die vorzüge dieser überllangen pfaden
auf der sys-platte mitnutzen ? oder man nimmt eine grosse sata-hdd und nutzt es als sys-platte ?

Beides ist keine Option, wenn man ehrlich ist.

ein pc-fachmann meines vertrauens riet mir davon ab solche einstellungen zu machen,
denn man weiss nie was man sonst fuer nebenwirkungen hat.

Das ist richtig, gilt aber grundsätzlich für fast alle Änderungen an der Registry.

 

[cloudman]

Wenn das 260 Zeichen limit das Problem wäre würde eine Fehlermeldung kommen und keine Dateisystem Korruption.
Wie genau sieht denn das Fehlerbild aus?

 

[ksjdgzagt]

Wenn das 260 Zeichen limit das Problem wäre würde eine Fehlermeldung kommen und keine Dateisystem Korruption.
Wie genau sieht denn das Fehlerbild aus?

meinst du mich ?
falls ja, beim letzten fiasko vor einem jahr nach einem win upodate und reboot, zeigte sowohl meine
stamm-hdd also auch deren backups fehlermedungen unter windows (unten rechts poppte ein fenster auf : hdd hat ein fehler, neustart muss erfolgen).

bei der überprüfungd er ordnerstruktur konnte man feststellen dass sowohl ordner als auch files mit null bytes angezeigt wurden und sich nicht öffnen liessen. jemand meinte es könnte an der rechtenvergabe liegen..aber nichts funkionierte.

man muss dazu sagen aber vllt ist es aberglaube:
beim letztjährigen fiasko war ich kurz davor wieder auf seagate (exos x) hdds umgestiegen.

davor hatte ich wd gold fünf jahre lang genutzt ...und keine zwischenfälle !

2015 hatte ich mein vorletztes fiasko, bei dem ich ebenfalls seagate-hdds hatte,
alledings keine enterprise soindern customer.

nun bin ich wieder auf wd gold umgestiegen !
auch wenn es vllt nur abergalube ist: ich werde nie wieder seagate hdds nutzen.
das ist für mich der teufel ! :-)

 

[Madman1209]

Hi,

"Ich erstelle sehr tiefe verschachtelte Ordnerstrukturen"
"Windows 10 zerschießt meine Ordnerstruktur"
"Der Festplattenhersteller ist schuld"

finde den Fehler...

Vielleicht habe ich es auch übersehen, aber kannst du mal ein konkretes Beispiel dieser "problematischen" Ordnerstruktur geben?

VG,
Mad

 

[cloudman]

Das klingt nach einem Hardware Problem und ich würde sagen es hat nichts damit zu tun wie tief verschachtelt die Ordner sind.
Wie gesagt bekommst du in dem Fall eine Fehlermeldung vom Explorer 'Pfad zu lang' oder ähnliches wenn du versuchst die Datei zu öffnen.

Warum genau es zu dem Problem kam ist im Nachhinein schwer zu sagen.
Wenn es an der Orderstruktur liegen würde wäre der Fehler auch mit WD aufgetreten.
Platten gehen kaputt die Frage ist nur wann 🙂
Ob jetzt Seagate schlechter ist oder du einfach ech hattest sei mal dahingestellt. Mir sind vor einiger Zeit 2 WD Red 10 GB disks abgeraucht (wurden aber ohne Probleme von WD ausgetauscht). Seitdem keine Probleme mehr Probleme mehr. Zusätzlich habe ich noch Toshiba Platten die nie ausgefallenen sind. Ist Toshiba deswegen besser als WD? Wahrscheinlich nicht 🙂


Hast du damals die smart Werte der Platte angeschaut?

 

[ksjdgzagt]

Hast du damals die smart Werte der Platte angeschaut?

nein das passierte ja aus dem heiteren himmel....mai win update letztes jahr, nach dem reboot ...katastrophe...keine zeit mehr smart werte oder ä zu lesen...

sicher, es ist alles spekulation...man kann nur mutmassen was los ist...aber langsam gehen mir die
ideeen aus. ich versuche seit über 10 jahren potentielle fehlerquellen auszuschliessen...und letztes jahr
passierte es doch wieder...allerdings gald gerade das win update letzten mai als sehr problematsich ...insofern könnte es auch pech gewesen sein und das win update ist wirklich so schlecht gewesen...

Vielleicht habe ich es auch übersehen, aber kannst du mal ein konkretes Beispiel dieser "problematischen" Ordnerstruktur geben?

na es geht um die tiefe.
eine übliche win-rdnerstruktur halt, die sehr in die tiefe geht.
nach dem win reboot letztes jahr wurde unten rechts wo die uhr ist eine popup angezeigt:
festplatten fehler, bitte rebooten.

nach dem rebooten wieder genau das gleiche.

und musste dann feststellen dass sich vieeöordner und dateien mit n ur null bytes angezeigt wurden und sich nicht mehr öffnen liessen...

 

[gymfan]

"Ich erstelle sehr tiefe verschachtelte Ordnerstrukturen"
"Windows 10 zerschießt meine Ordnerstruktur"
"Der Festplattenhersteller ist schuld"

finde den Fehler...

Der Fehler ist wohl offensichtlich: Windows. Wie kann ein OS das Anlegen von Ordnerstrukturen (egal ,ob über seine eigenen Tools oder über Fremsprogramme) zulassen und danach mit seinen eigenen Tools (wenn man den Datei Explorer als sowas bezeichnen möchte) nicht mehr selber auf die Dateien zugreifen können?

Aber es ist halt Windows, das auch 2021 noch kompatibel zu DOS sein muss.

Mal abgesehen davon, dass man auch ohne Long-Path Software wieder (temporär) an solche Dateien kommt (außer, ein Datei/Ordnername ist länger wie 260 Zeichen). Einfach auf pasender Ebene per subst einen Laufwerksbuchstaben vergeben und schon kann man auch ohne moderne Tools wieder auf die Dateien zugreifen.

wie händeln unternehmen ihre riesigen ordnerdtrukturen ?
doch mit datenbanken oder ?

Mit dem bereits genannten DMS. Auch deshalb, weil es anders garnicht geht, außer man verwendet auch noch symbolische Links auf dem Dateisystem.

Wie soll man denn schon nur Bilder einsortieren, wenn man sowohl Datum, Ereignis und abgebildete Personen/Bildinhalte als Suchbegriffe nutzen will? Personen/Bildinhalte muss man entweder als Eigenschaften im Bild ablegen (ein NoGo, wenn man seine Bilder archiviert und damit nie wieder ändern will) und dann nach diesen Eigenschaften suchen (auch der Windows-Dateiindex ist nichts anderes wie eine Datenbank). Oder man hat eine weitere, virtuelle Ordnerstruktur mit Links, mit welcher man dann trotzdem nicht einfach alle Bilder aus 2020 mit Tante Ida finden kann.

In der aktuellen C't 09/2021 gibt es einen Artikel dazu, wie man Dokumeten sogar rechtssicher verwalten kann. Also nicht nur einfach auf dem PC speicher und wiederfindet sondern auch gleich noch mit dem Nachweis, dass z.B. ein Scan auch dem Original entspricht (das, was Unternehmen u.A. leisten müssen, wenn sie das Papier scannen und wegwerfen wollen).

ich bin ehrlich gesagt überrascht dass ihr von dem thema (sql) datenbank wenig haltet...

Ich halte sehr viel davon und nutze sowas auch für meine Bilder seit 15 Jahren. Meine übrige Dokumente muss ich demnächst auch damit verwalten. Beides werden aber eigene Anwendungen, die ich nur auf meine Ansprüche zuschneide.

eine SQl datenbank ist auch nicht gerade ist jetzt nicht geare etwas worin man Dateien ablegt. Vielleicht mal ein base64 bildchen

Das muss man ja auch nicht, die Referenz auf einen Link, mit dem auch ein historisches Windows 10 umgehen kann (also zur Not 8.3 Namen), genügt vollkommen. Wenn die Suche über das DMS läuft, genügt für die Dateiablage eine Unterteilung nach Jahr und Monat, um Winodsws 10 mit seinen steinzeitlichen Anwendungen nicht mit zu viele Dateien in einem Ordner zu überfordern.

Dazu erstellt man noch eine Prüfsumme der Datei beim Archivieren und kann sich zur Prüfung der Datenintegrität sogar ein Dateisystem (oder gleich ein Speichersystem) mit Prüfsummen sparen.

2015 hatte ich mein vorletztes fiasko, bei dem ich ebenfalls seagate-hdds hatte,
alledings keine enterprise soindern customer.

Was für ein Fiasko? Sowas muss spätestens bei der Erstellung des Backups auffallen und dann sind höchstens die neuesten Daten nicht mehr verfügbar. Sowas passiert einem u.U. einmal aber doch nicht öfter.

nein das passierte ja aus dem heiteren himmel....mai win update letztes jahr, nach dem reboot ...katastrophe...keine zeit mehr smart werte oder ä zu lesen...

Mir hat mein Win 10 Home heute angezeigt, dass es mich von 1909 auf 20H2 zwangsmigriert. Da blieb noch genug Zeit, ein Backup der Systempartiton zu erstellen, weil das vorherige schon ein paar Wochen alt war. Daten sind sowieso mehrfach gesichert.

 

[madmax2010]

Dazu erstellt man noch eine Prüfsumme der Datei beim Archivieren und kann sich zur Prüfung der Datenintegrität sogar ein Dateisystem (oder gleich ein Speichersystem) mit Prüfsummen sparen.

Das wuerde ich vom Dateisystem machen lassen. ZFS bspw. ist da extrem gut drin

 

[cloudman]

Wenn es ein OS Problem ist sollte es doch leicht reproduzierbar sein.
Was auch immer die Ursache ist, die Orderstruktur würde ich ausschließen. Problemen mit Path too long gibt es genügend aber nicht dass der Fehler zu einer Korruption führt.
Ich sehe auch an den Beispielen nicht dass das 260 Zeichen limit überschritten wurde.
Ich kann jetzt nicht für andere Firmen sprechen aber bei uns liegt sehr viel in Sharepoint.
Relativ große und verschachtelte Strukturen haben nur noch die lokalen source code repositories auf den Entwicklernboxen.
Wenn es zu Korruptionen kommt dann durch Hardware Fehler oder Crashes während auf die Platte geschrieben wird (sehr sehr selten).

Zum Thema Datenbank - was ändert sich wenn nach dem 'Fiasko' die DB Datei plötzlich 0 Bytes hat?

 

[ksjdgzagt]

Das wuerde ich vom Dateisystem machen lassen. ZFS bspw. ist da extrem gut drin

ok, was denkst du über folgende lösung ?

Bare-Metal-Virtualisierung als host und dannvm mit freenas als os samt der von dir erwähnten zfs-dateisystem ?

...vorausgesetzt meine probleme liegen bei der ordnerstruktur...cloudman vermutet, dass nicht.

Ergänzung (22. April 2021)

Zum Thema Datenbank - was ändert sich wenn nach dem 'Fiasko' die DB Datei plötzlich 0 Bytes hat?

ich bin laie-in.
die frage überfordet mich deshalb ein wenig. :-)

 

[madmax2010]

ZFS habe ich jetzt nochmal erwaehnt, weil du deinen Anderen thread dazu gestartet hast. habe dort was geschrieben