Digitale Kopie- Qualitätsverlust

[flo36]

Nein die Checksummen sind versteckt. ECC Ram bereinigt die Fehler die am seltensten auftreten, da Daten im Ram nie länger als einige Stunden dort sind. Die meisten sogar nur wenige Sekunden bis Minuten und dabei sowieso alle paar nanosekunden refresht werden. Von den Checksummen bekommst du überhaupt nichts mit.
Außer du hast eine Überwachungssoftware wie Unternehmen installieren die dann eine Meldung auslösen wie z.b. Auf Festplatte xy oder Ramriegel 1 in Server 12 ist ein nicht korrigierbarer Lesefehler, ECC-Fehler, Schreibfehler aufgetreten.

ECC heißt ja nichts anderes als, dass eine Logik da ist die Checksummen bildet und abgleicht. Diese Checksummen werden beinahe überall im System gebildet und von der Hardware selbst übernommen. Einzig bei ECC Ram macht man sich eben die mühe, da dieser ein paar € mehr kostet und eigentlich nur für Geschäftskritische Anwendungen notwendig ist.


@alle die sich angesprochen fühlen^^: Zum allgemeinen Verständnis: Jede automatische Fehlerkorrektur funktioniert ohne Einwirkung des Betriebssystems, CPU etc. Die Auswertelogiken sind auf den jeweiligen Geräten (teilweiße in den Chips selbst) enthalten und geben erst einmal genau 0 Rückmeldung. Das OS frisst alles so wie es serviert wird (da hat de la cruz mal recht) Sollte es aber eine Software geben die eine Checksumme gespeichert hat zu den eingelesenen Daten (z.b. ISO File von Ubuntu mit Checksumme von Ubuntu FTP) dann kann der fehler bemerkt werden.

Ansonsten kann es dazu kommen, dass man ein Ubuntu mit gekipptem Bit, Byte usw. installiert und sich dies später im laufenden Betrieb auswirkt.
Aber zum 100ersten mal. Das passiert extrem selten. Wenn man davon ausgeht, dass jeder Bluescreen unter Windows ein Bitfehler ist, dann kann man vermutlich sagen, dass alle paar Millionen Sekunden ein Fehler passiert der nicht korrigiert werden kann und sich auch noch auswirkt.

Meistens sind davon aber einfach irgendwelche Daten in Text oder Bildform bei denen es total egal ist oder die Software überprüfbare Checksums haben.

 

[Frostborn]

Wer macht denn diese Checksummen? Windows benutzt doch keine beim Kopieren z.B.

Da bräuchte ich also extra Programme, richtig?

 

[Jesterfox]

Jepp, eigentlich alle modernen Speichermedien und Übertragungswege haben Checksummen und Fehlerkorrektur. Bei einer HDD/SSD kann man das sogar per SMART auslesen. Wenn dort zu viele ECC Fehler auftauchen sollte man evtl. mal das Kabel wechseln ;-)

Zum ECC RAM find ich leider den einen Bericht nicht mehr wo eine Firma mal Statistik-Daten ihrer Server veröffentlicht hat wie häufig eigentlich Fehler auftreten. So weit ich mich erinner war es aber so das nur durch die riesige Anzahl an Servern die 24/7 laufen eine erwähnenswerte Menge an Fehlern zusammenkam.


Edit: die Checksummen werden automatisch von den Geräten und Treibern verwendet. Das bekommst du als Anwender gar nicht mit.

 

[Atkatla]

Unsinn: Wenn ein Bit in einem Byte statt als 0 als 1 abgespeichert wird, dann kann das Betriebssystem das sehr wohl lesen und bemerkt keinen Fehler ! Das Resultat ist zum Beispiel, dass ein Pixel auf dem Bildschirm vielleicht rot statt grün abgebildet wird, um mal ein leicht verständliches Beispiel zu nennen !

Das Bit wechselt aber nicht von selbst von 0 nach 1, weil die Fehlerkorrektur des Datenträgercontrollers dies anhand der Partitätsdaten und Checksummen erkennen und korrigieren würde. Und wenn zu viele Fehler in einem Block sind, dass die Paritätsdaten den Fehler zwar feststellen, aber nicht mehr korrigieren können wird ein Lesefehler an das Betriebsystem gemeldet. Die Detektion passiert damit bereits schon vor dem Betriebsystem. Im Betriebssystem kann ich natürlich noch zusätzlich mit Summen prüfen.

http://en.wikipedia.org/wiki/Error_detection_and_correction#Error_detection_schemes
http://de.wikipedia.org/wiki/Festplattenlaufwerk#Speichern_und_Lesen_von_Byte-organisierten_Daten

Du scheinst zu glauben, dass wenn du eine 2 abspeicherst, auf der Festplatte direkt ein 0000 0010 landet. Das wäre in der Tat fehleranfällig, weswegen es die Detektions- und Korrekturmechanismen gibt. Es wird immer auch eine Paritätsinfo mitgeschrieben. Die gibt es nicht nur bei RAIDs.

 

[ranzassel]

Wer macht denn diese Checksummen? Windows benutzt doch keine beim Kopieren z.B.

Da bräuchte ich also extra Programme, richtig?

Jein!

Grundsätzlich machen das die Geräte wie CD-Brenner, SSDs, Festplatten etc. selbst in ihrer Firmware. Sie tun das für Windows vollkommen transparent. Windows erfährt von diesen Prüfziffern nichts. Lediglich wenn sich Daten nicht mehr korrekt lesen lassen melden die Geräte dies an Windows. Den Effekt kennst du wahrscheinlich am besten von alten, zerkratzen CDs...irgendwann kommt der Punkt wo sich Daten nicht mehr lesen lassen und du eine passende Fehlermeldung bekommst.

Zusätzlich kannst du natürlich auch selbst Prüfziffern erstellen. Am bekanntesten sind da wohl die MD5-Hashes wie sie im Internet gerne bei Downloads verwendet werden. Der Uploader berechnet also eine Prufsümme seiner korrekten Datei und stellt diese ebenfalls online. Nach dem Download lässt du mit dem passenden Tool eine Prüfsumme deiner herunterladenen Datei erstellen. Sind beide gleich ist dein Download okay.

Das kannst du z.B. auch nutzen wenn du Daten langfristig irgendwo sichern möchtest. Einmal über den Gesamtbestand Prüfsummen generieren und dann einfach einmal im Jahr (oder so) den ganzen Vorgang wiederholen. Sobald dort Abweichungen zwischen zwei Läufen auftauchen hast du den ersten Datenverlust. Deshalb bereits vorher Kopien erstellen. Danch ist es zu spät.

Am bekannstesten ist dabei md5sum: http://en.wikipedia.org/wiki/Md5sum.

Das Prinzip ist unabhängig vom Vorgehen immer das selbe. Egal ob du das "zu Fuß" machst oder dich einfach auf die internen Mechnismen deiner Laufwerke verlässt.

 

[Frostborn]

@Ranz
Das ist sehr interessant, danke!


@Flo36
Ich wollte dir noch einmal zeigen wo ich das mit dem einjährigen auffrischen der Daten herhabe wegen der entmagnetisierung der bits:
http://de.wikibooks.org/wiki/Datens...on_Daten_auf_externer_Festplatte_erh.C3.B6hen

Entschuldige, wenn ich hier doppelt nachffrage: Aber der Artikel ist dann an diester Stelle fehlerhaft oder. Das mit den Lagern kann ich ja noch nachvollziehen aber das mit den bits hast du ja schon entkräftet.

Haltbarkeit von Daten auf externer Festplatte erhöhen

Nicht mal eine Festplatte, die ungenutzt im Schrank liegt, ist unsterblich. Einmal pro Quartal oder mindestens einmal jährlich sollten Sie jede Festplatte für einige Stunden an den PC anschließen.

• Das Schmiermittel in den Lagern der Festplatte verharzt und wird hart, wenn die Festplatte lange nicht benutzt wird.
• Es kommt zur Degeneration von Elektrolytkondensatoren, wenn sie lange Zeit nicht benutzt werden.
• Die Magnetisierung der Bits auf der Festplatte lässt allmählich nach und muss deshalb von Zeit zu Zeit aufgefrischt werden. Die Auffrischung geschieht, wenn die Daten neu geschrieben werden.
  

Variante 1 (empfohlen)

Diese Variante ist nur möglich, wenn die Festplatte zu weniger als 50% gefüllt ist. Die aufzubewahrenden Daten werden in ein Unterverzeichnis kopiert, dessen Name beispielsweise das Archivierungsdatum enthalten kann.
Einmal pro Quartal oder einmal jährlich die Festplatte an den PC anschließen und die Magnetisierung auffrischen:

• Ein Verzeichnis "Kopie 1 von 2009-03" anlegen.
• Alle Dateien vom Original dort hineinkopieren.
• Wenn der Platz nicht reicht, löschen Sie die älteste Kopie
• Anzahl der Dateien und Verzeichnisse von Original und Kopie vergleichen.

 

[Atkatla]

@Frostborn: Die Entmagnetisierung ist schon ein Faktor, wenn auch nur über mehrere Jahre. Die Folge ist aber nicht eine willkürliche Veränderung der Daten wie von de la Cruz beschrieben. Sondern der Controller meldet die Daten als nicht mehr lesbar, wenn die Paritätsdaten zur Rekonstruktion nicht mehr ausreichen oder er korrigiert sie, wenn die Paritätsdaten ausreichen. Haben sich die Paritätsdaten selbst verändert, kommt es ebenfalls zu einem mismatch.

 

[Jesterfox]

Ich bin grad am überlegen... dieses Umkopieren der Sektoren wird von der HDD auch intern selbst erledigt wenn man die HDD benutzt. Wenn die Platte einen Lesefehler anhand der Prüfsummen feststellt wird er Inhalt auf einen neuen Reserve-Sektor kopiert und der alte Sektor zur weiteren Beobachtung markiert (schwebender Sektor). Wenn ein späterer neuer Schreibvorgang auf den Sektor erfolgreich ist wird er wieder aus der Liste gelöscht. Sollte es wieder Probleme geben wird er als defekt aussortiert.

Nur wenn die HDD im regal liegt passiert das natürlich nicht. Aber bis solche Fehler auftreten dürften viele Jahre vergehen und eher machen einem die Lager der Platte Probleme als die Magnetisierung ;-)

 

[Frostborn]

@Atkatla
Ich als laie, dass bin ich nun mal einfach, wüsste nur gern, wie oft ich die Daten auf der Platte jetzt neu bespielen muss damit es nicht zu entmagnetisierung kommt. Tatsächlich einmal im Jahr? Das wäre ja extrem. Oder wirklich erst bei 10 Jahren+

Und gilt das nur für externe Datenträger die Stromlos im schrank liegen oder kann das auch internen passieren.

 

[Atkatla]

Einmal im Jahr halte ich schon für etwas häufig, es ist also eher für vorsichtige. Da tritt ein Plattendefekt wohl häufiger auf, als dass eine Platte nach etwas über einem Jahr durch mangelnde Magnetisierung unlesbar wird. Manche Hersteller geben die Haltedauer in den Datenblättern des Festplattenmodells an, meist im Enterprisebereich.

Im Privaten erledigt sich das ganze ja dadurch, dass eine Festplatte oft nach 5 Jahren oder so auf eine neue, größere überspielt wird.

Der Lesekopf liest ja nicht 0en oder 1en. Er liest Signalverläufe. Wenn ich also 90%,30%90% (high-low-high) messe und fünf Jahre später die Magnetisierung schwächer geworden ist: 30%,10%,30% (high-low-high) kann ich immer noch unterscheiden. Es wird ja nicht mehr nach einem fixen Schwellwert zwischen high und low unterschieden, denn:

Bei dem Lesen dieser Daten können, durch schwankende Materialeigenschaften des magnetischen Mediums, hohe Schreibdichten oder auch durch zufälliges Rauschen, die Höhe der einzelne Pulse variieren, wodurch die üblichen, fixen Schwellwertentscheidungen zur Bildung eines Digitalsignals höhere Fehlerraten als PRML aufweisen.

http://de.wikipedia.org/wiki/Partial_Response/Maximum_Likelihood

Diese high und lows auf der Plate sind noch nicht "deine" Bits, da sind ja noch Modulation, Leitungscodes und Fehlerkorrekturdaten im Spiel.

 

[Bartmensch]

Zur (Physischen) Haltbarkeit der Speichermedien hab ich auch noch einen netten Link gefunden:
http://www.pc-magazin.de/ratgeber/s...festplatte-usb-stick-floppy-disk-1485976.html

Was den Hash Wert betrifft, es gibt Tools, mit denen Du Dir für alle Daten Hashwerte anzeigen/Berechnen lassen kannst.
An Hand von Hash Werten wird beispielsweise auch in der IT-Forensik gearbeitet.
Nur wenn Original und Surrogat denselben Hashwert aufweisen, ist die Gerichtsverwertbarkeit der Daten gewährleistet.

Es gibt auch diverse Tools, die mit Hash-Datenbankenvon Passwörtern arbeiten, um per Brutforce Attack Passwörter zu Cracken.
Stichwort Rainbow Tables.

 

[Daaron]

Es gibt auch diverse Tools, die mit Hash-Datenbankenvon Passwörtern arbeiten, um per Brutforce Attack Passwörter zu Cracken.
Stichwort Rainbow Tables.

...was aber hiermit gar nichts zu tun hat, zumal RTs eh auf dem absteigenden Ast sind. Mach mal ne RT für bcrypt...

 

[olalaaa]

Daher für mich die Frage: Kann beim normalen Copy und Paste von Dateien wirklich ein Qualitätsverlust entstehen

fehler ja - qualitätsverlust nein, außer er entsteht durch fehler.

gegen diese fehler die stetig und dauernd auftreten (platte, ram, cpu, dateisystem, cache, usb etc.) gibt es aber reparatur/schutz-mechanismen die das ausgleichen. genauso wie auch eine cd mit kratzern oft noch problemlos abgespielt werden kann.

unterm strich kann man eine datei aber mit einer prüfsumme überprüfen.
ist die prüfsumme auf zwei unterschiedlichen systemen gleich dann ist es 1:1 dieselbe datei. (hash wert).

kommt zum beispiel bei guten software backup-lösungen zum einsatz und überall dort wo man daten genauestens überprüft.

und nein - digital heißt nicht das alles immer "fehlerfrei" über die bühne geht. es gibt halt nur andere probleme.

 

[FlixMozzer]

Hallo,

Datenverluste in der Informationstechnik üblich, allerdings unwahrscheinlicher als dass du im Lotto gewinnst.

Das Szenario eines Bitfehlers kann es geben. Ein Bitfehler bedeutet bei Audiodateien und Bilddateien nur einen geringen Qualitäts- und Datenverlust. Bei Applikationen sieht dies ganz anders aus. Applikationen beinhalten Byte für Byte einen Befehlscode bzw. Befehlswert. Bei einer Veränderung kann die Applikation den Verlust aller Funktionen erwirken. Kann aber auch nicht, sondern nur eine kleine Veränderung.

Bitfehler treten wie gesagt sehr selten auf. In Drahtlosverbindungen ist die Wahrscheinlichkeit schon höher, da sich Frequenzen überschneiden können und somit 2 gleiche Bytes aus 2 Verschiedenen Bytes entstehen können. Für gewöhnlich wird dann aber dieses Byte - wenn ein Bitfehler aufgetreten ist - zurückgerechnet.

FlixMozzer

 

[mace1978]

Weiss eigentlich einer was mit den 2% gemeinst ist, die der eine aus meinem Startpost meinte?

Es könnte durchaus sein, dass damit z.B. Audio/Video-CDs gemeint sind. Ein CD-Player könnte durchaus daher gehen und sagen...ich weiss an dieser Stelle nicht genau, was hier gespielt werden soll...aber ich mache einfach mal weiter, als ob nichts gewesen wäre. Ab einer gewissen Fehlerhäufigkeit muss man sich dann aber eingestehen, der Hörgenuss könnte zu sehr leiden, also lassen wir das mal mit dem Weiterspielen. Wo da die Grenze liegt kann ich dir nicht genau sagen.

Grundsätzlich unterscheiden sich die Fehlerkorrekturen von AV-Geräten und optischen Computerlaufwerken da durchaus.
Bei einer Audio-CD ist es durchaus wichtig, dass konstant Musik kommt, ob es da einen Bit-Fehler gibt oder nicht ist i.A. weniger von Bedeutung. Wenn ich aber am PC Daten installiere/auslese, dann kann ich mir für das Auslesen kritischer Stellen durchaus Zeit lassen, kann eine Stelle mehrfach lesen und langsamer lesen etc. wichtig ist dabei nicht, ob die Software in 5 min oder in 15 min installiert ist, sondern dass sie fehlerfrei installiert wird.

Unsinn: Wenn ein Bit in einem Byte statt als 0 als 1 abgespeichert wird, dann kann das Betriebssystem das sehr wohl lesen und bemerkt keinen Fehler ! Das Resultat ist zum Beispiel, dass ein Pixel auf dem Bildschirm vielleicht rot statt grün abgebildet wird, um mal ein leicht verständliches Beispiel zu nennen !

Für Rot statt Grün müssten schon mindestens 2 Fehler existieren.

 

[powerfx]

Beim Kopieren wertet sogar der Windows Explorer CRC aus (und meldet ggf. Fehler).
Bei Audio-/Video-CDs sind solche Hashes aber tatsächlich nicht vorhanden, so dass Fehler unbemerkt entstehen können. Also hier müsste man ein bisschen unterscheiden.