Vergleich von Hash-Algorithmen (CRC32, MD5, SHA-1,SHA 2 usw)

[testuser58]

Guten morgen Forum.

mich würde mal interessieren, welchen Hash man am besten verwendet um

a)
Beschädigungen zu erkennen (Bitkipper u.ä.)

b)
Die Identität einer Datenmenge zu überprüfen


Bei b fällt CRC natürlich raus.

Die Frage ist vorallem, wie es sich mit dem Rechenaufwand verhält.



danke

 

[Hardkorn]

Die HDD ist unter anderem für die performance zuständig.

https://www.computerbase.de/forum/t...algo-fuer-grosse-dateien.610426/#post-6324552

Ich würde MD5 nehmen und um die Prüfsummen zu erstellen http://hp.vector.co.jp/authors/VA021385/ weil es, anders als Quickpar mehrere Kerne benutzt.

 

[testuser58]

irgendwie komme ich mitb dem Programm nciht zruecht. Ich will doch agrkeine .par recovery-Dateien erstellen - Ich will doch nur eine ".sfv" mit md5-summen ?!

 

[Hardkorn]

SFV Dateien enthalten nur CRC32 Prüfsummen.

Für MD5 Prüfsummen verwende ich http://www.efsoftware.com/cm/d.htm kostet etwas ist aber das Beste Programm was ich kenne.

 

[testuser58]

deswegen die Anführungszeichen - ich weiß, dass .sfv crc32 enthält. aber ich meine eben eine Datei, wo einfach nur Dateiname und Prüfsumme drin stehen (oder vergleichbar) - Oder entspricht ein PAR2(/3) ohne Redundanz genau dem?!

 

[Hardkorn]

Diese Programme habe ich noch gefunden.

http://quicksfv.org/

http://www.dominik-reichl.de/software.html#vishash

http://www.slavasoft.com/hashcalc/index.htm

http://implbits.com/HashTab.aspx

http://www.quicksfv.org/index.html

http://www.del-net.com/frmDFCRC.html


Bei Quickpar sieht es so aus.

PAR2 PKTœ       è)ú1Û”¨úŽ(‰«*5OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDescÍg¤A#`œ8Ÿç"3r
ø³H…2öÏó¥«JïÕ"6Ú͆°X?"äIN L     01 - 4Lyn - The Grind - Hello.mp3   PAR2 PKTh      7fÿ+.rʏ·¶¦™6ìOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    Íg¤A#`œ8Ÿç"3r
ªr°;S°È¶#ºg{Zm1|ÆñANø®)ÌQË׉—aàkAœ—žÁ8Ñ™±\F½°
THMU"Ù8þü9©ËAqm2‚ÒªÇó¯›}[ždš“äiŠÒ)VëüÅr(pâ{ÿ€óã{Çâ4MH§!Ó6V*•W€ÿ/†ð÷ÿ½ÇêêÀs”é$ Ð:$·Ìö >2nNv
•¤Wštòwt´©ùVcé·’‘T²S®ÈZ‰½/½*éf
3#Æ¿¾5nö<- yq#³x:“ÌJb÷ìJÚ±®|    ¡l›0Ý|Êó¤HéìLP Y ýP‘€:7àÞÅGŸóT>àM:vˆ EMn¾å‡ÅÅ    –G^ÁVPAR2 PKT        ‚ÖWñÂI§×+ OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDesc+jª“l€¨õ¬*7z2;æ†5€ àrš‡tÇ´£®´¸%ø$ÏðÁ¼"÷*æÙYNàc     02 - 4Lyn - Shadow Valley - Hello.mp3   PAR2 PKT¸      :]@×Ê Ü2\¨E`£Æƒ`OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    +jª“l€¨õ¬*7z2;æ3›Ìá«ÏФm\ý 5Š|Y_FVTŽç‚[&(‚ MÁó¡e>&t*ŠbÙq!þf!37êâÄÁhÅ" 'co”Ô
÷|‚Vò¸v•WŸƒt ›âEìÀcšûÄ°ØìF;!RNÿ>=⮯_P
øÌé稲ÕcÒ%¥d†Ù—.ä‰ÝÛ¶AŸ‘]æ왿güVRî¿nÜmw|¹ß\P€VJG¡Ò0¾æ¤yžV‹_'ïÉ.úŒDr8•¢ƒ$ktÝuúõ%¼y'&°Jì´Î$ˆñF&˄Ȧ
_›p2eŒƒ¾:ÁTDÅÞè?†Ï°`Fr L‡'î±Ë¼Ð¥€p÷J0ºÂy´E¾'d°:Ü‚â0*b!w^ š«þ£X^é·i¸õ0«ÝJ‰ä8¯Ïq`ïá@‡°D$ì…Q£uìÚ’¼2/*M+Â)zk͝ïn˃ÿ±N\87v••0VPAR2 PKT¨       øn~ùÌÀzt¥·Ñ•îœOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDesc%ÎÇyÏ«ˆljË×["ò^ã '«5
âm‰]yù    {¨‹ØV°‡Š(F[3›-N˜]     03 - 4Lyn - Hello (For You Im Dying) - Hello.mp3PAR2 PKT      ªfÜ@Î"]z„L‰M¹¹OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    %ÎÇyÏ«ˆljË×["ò^êŒ!–м~i&ÉÍÙÙA²U0ÄÛbv•¸tu²&‹mÑãSAÔ#aÏ3%%mé÷«Þb·Ü¦Ü«HÔ½‹~7t¾+3µ7ëï?ûo³ãžpW4™%qõn)·ÞëœÀú¥fÛa÷k¥Ùt^ øAË(ò·[wãrœ§écì1ÏéC Íò¿I1ï)±9Ï,ŽM¨™À0¤–jŠ)a!ÙÎõÒšªx_ìÝn#ZÚ
¡ƒ¥è‡Y,k¼sýÓòÅcðJÆ ÷Ïë΄28è¤ýRòØûÉZéÝ«|wf}z}ÏÕÓ§‰úF8„:Ìl‹ž(¡¢CÚ§¾¸®Ò„x(¬:«²·Ì®2€ûv`ãÛd±ã›äŒ£Ez¦<RWNçuvð÷ûQæQ>6ÆÛŸàÊâ6EoÂ!PAR2 PKT¤       %t*šÔ¢ÄÌmô§“~ӐOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDesc°ô¯q©tƒöŒ§RjF•þq´²ˆ·°5•Ã6”v¸Iv`Öÿ1tO"rmLμkHN¸\     04 - 4Lyn - Worlds Gone Crazy - Hello.mp3   PAR2 PKT      Þ½1‹l+*$´à²£%OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    °ô¯q©tƒöŒ§RjF•þQÎ’ÝX×I 'â,MÈPžc4"—ø']¹XäIÓ˜ÒÄìBY Íuù1Ù¯¢>ëœg5ç#‚g
2åMF{(-u£:i‚&$Æ¡†ÅuVH؉«××8c    3Êx    Kö@çÞ†É³,ÃmDŒGêJiZ7ü)9w8(Ô5Ium#ŸGíî—¾UÕÈQ    nǽNÁý$*7Ë7…û–ÄoXm3¦„þþ_´z·”²à°zîvõ|%\jJ4·™÷m·ÅÿVb&ŽÊ»Q©¤ñ DþwÿóJåÔoÊŸJ€Ð(óHGn>Vu®4wõÖLÂå¡f°o?²ÇчqW*F÷A0ÔxöôCºÿ[t)Ü^‘(ïä r4†"ÆMP?SsÌÌGôwÑõ9ÚòVˆN‰y•’}PAR2 PKT¤       'æVà¥Ëù7îý”{°”WOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDesc”ÅÙÂöÿ:SÿÂ1ŸvéÉ"ƒò”j_WÑ0€&h[kÎÝ ®q´-Jv)XGéäu²N L     05 - 4Lyn - Too Much Of Anything - Hello.mp3PAR2 PKTh      ^Isl“!„»WwlrWÐOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    ”ÅÙÂöÿ:SÿÂ1ŸvéÉ£¶æ?Ë)Îö£gGj!<"`ÆÀ‡í^²6Ãúi2Ï ½    Ò¡¢9ôt4Dßø>ÒCØHDûw×_³ùÞ`ê¹tù®ÓëûGöº=4X"ºlI'ûúÔ§%âñm0ÆÃ/,ÂǍí¾ZµšÝÌü/´÷]¼å´&׺WÁfïUº®íÂ%    Tb¨êúæÝ¢c*áEyÑ@µbàWú@    ý*ƒ¦T5#•¸¬Þt[ê,"®YÐ4TLùN¶œLµØ]j/F3ÏÛ”u18áÆVsYüåQ“»kÏÿálS.0°L…`¤<—–)z6ÁàÒ´Â?Ý5L›rvTg"nÂé:p±³2ìKpÝZ.…y¨~!SPÇ…¦PAR2 PKTœ       YÚu<Šl_nïÔÿ¼çOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDescÙÃÀ#›(ø44üni£°nsr$,Ö´èýR‹ãAæD>`¾Ž`cn%I#í0Æ
NhP     06 - 4Lyn - Nostalgia - Hello.mp3   PAR2 PKTh      ‘    ðn•ÄQYÕ\žOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    ÙÃÀ#›(ø44üni£°n"³N®±”·ÞìZ¡>U0õÜ8ÁqJZ…Óü"ëþ&þÇEº“ˆœygà=õ%ûêÇÒm¹Y/I*Î2×&ƒyÏíeEDê¹Ñýó“¡SΪi>j©”Ä¿>0e>ŽÌš’44ÆצxåbKU9ŸP›¨Ì͍êp¬n"joAf@Ö2{w¼ -R!±ê‹>.4-éýÄÿYJj¾â=zŒäéóÅÝw=nwîl¬h+éø;x¯îþ™‰q¸^½[Žaùzï÷;cb‹Úre™â)Ï›ÿx‘sGýM½Œ¸Ü¤wÄ:d©ñy¨
ÃWŽØF|³kJc(#kÔ_P%(=Ï‘DX•ÃÄPAR2 PKT¤       §,Åp>˜ysk͝Ło;±OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDesc§gLwÃ2{W@ÌUó¡îK«¹ÛàϤs|œÆ2Güvfÿ©*gÌV5‰vf»2NJ     07 - 4Lyn - Lovemaker-Soulshaker - Hello.mp3PAR2 PKTT      u»@aÙö®ûKª¶’
¾OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    §gLwÃ2{W@ÌUónš«·2½ZùÃNuV  ¥W7°aPøÈi9×¹ã¿"sòµRµÄ4Å3›QŸfúßæyÈ0Z9ð=Q7iïÖ]7bnM^Àw”ßv[þ7V[Ƚ¢|
tÚû?åYð”ùã·lX„¤¬Y‡²¸fd1ŠçÊ#%Îm°ŽE‘²z+}.ŽõlàÆúÂVé ¸þà`L{Â]¯&ä[)B0æS´šžñ¶×w8g_¡rHô£èMßÊ–÷GÃA¥ i{¡±6æI?1'WŽ¸¿¾1n‰pÓ€*³ž§/|a¼ôËa{$<ÔÜœzݬÕÔc’6'ÊȨ¼PAR2 PKTœ       ÂrIgnݨÞÿþ=õGŒfOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDescÓòH¼žÂü-
{ɍŠz)Ƨا2§¡ŠzÝ°ê5å&©¸”ò=¼Ø<Ta„ŸNˆU     08 - 4Lyn - The Jumpoff - Hello.mp3 PAR2 PKT|      ¿;€±àˆ:]²Q|øOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    ÓòH¼žÂü-
{ɍŠz¯±S¨
˜âYÐýh|¹&Ýâ(vœ[¾
ã)h“×Ëp*„؆T–Á^?¶?še„»£i¶g»…Ævª‰:WÿÀ4Úáû‰R6óžm%f½å’€éöMsjÁ‚»ù²ò+þE×þà,%îÖ    ÔÑb‚^kmÍÁ5ÄkУh{óƒ%™ ßCvõ+”Ì;O˜Ä¥KŠÝdÿ· µ€ªÁfŸÌŽçÔœßzú¦÷~uEñ l*4@~¢2‰,€°|$<ܳMqe€ÉÄn‡öçDCV_;ƒjvø2ꥏ[Â#²ˆeHz9üwÓ×WÄ/?8¾„.¾½^é÷é^1x*B…åЏõ~‰Ð‹ {½•ÙG½ør¹µGËôj“/?Ð?Þž4yPAR2 PKTœ       A‘ôò´iäeu–X¸ó^OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDescÕÄ'AÅ…ÑXÒüÓÏ:MÉmX÷_${*»#ïÿ_)…¿ðØŽ—Ž\îgQç|Nxi     09 - 4Lyn - This Heart - Hello.mp3  PAR2 PKTÌ      ùVÛhe:ÆÍqxvQ$OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    ÕÄ'AÅ…ÑXÒüÓÏ:Mɮ͘DzˆJí8üϺ    [E}¤ZûÊÜŒš[÷j
çá´E9$üîàüŸî]sµJž•3<PôpÓ(ÙÊK¼è¥µÛ^÷(¬-yéIýZðJNÌ*KTóÙ`Q7Mìæf4Õ¤:dàù«¬³(‰ðxö³!Q寏
Gà&òú)“×|<ól©<úxm®{’³ËАYîBsO3†gŒ›ãÎ`–ãlkhF4É“G5þé©8âÈâï$¾K,
 ár{QÙ—Ý«‘¼zú|€>±®@ÚV÷WD&¸½$Ð8^÷£°ü›Òõ¯ù—:4ʧŠÒ6*7X
y‡> QÏÎ)vªÎ²Í@O;`?t¼ŠŠ¸Šo²¶VNHõÝÂ{¿P}]ÒÙwY«n¸e~¾ôÞbÞ%Eò§EeIÍZÛ%µ»0Tdƒ°‘yö•†íºÛ^È™
4VyÖNp6(ŽeÚóÙÌYħÁiÅŠ¥ˆüPAR2 PKT˜       ·ª1ÁJø6ëIÜ®®ýfOÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 FileDescÒôóò˜$Üàÿ……,#A-õÁ§¹;åóÇ•|`Z¨mÕ·Âmgf~„Í(Öß)ÓN˜r     10 - 4Lyn - Cowboys - Hello.mp3 PAR2 PKTà      0(.ÞX¥«„hN‡°:OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 IFSC    Òôóò˜$Üàÿ……,#A-zë†ÓÙZ Ä©Â-Ž¦uD…È¢pz"³P)Ââ—‹´ÛlþÀ¨Z%¼f”¾ÝM8
ôµßÁ¤£,_×´ÎQħPLÑ·µ    áK*øÀÅß—k\:€œÊ0—>yFÒ3ÉNy™m_Ã*˜þô\ÀÚèHop]Ó¤ãl[ð˜öù!I‚±Mp_¾QW<D¡,g¯ÜB¡åF躗aú“ùÒÍûÊ(é4ôá„\ŠÛ`ÔXW›’›¿šâ¬Rï®tÒwçl,C\=çR PeÅYy°GÊ%r+‰J,{‘    o††ÒÇm>+õBEZWȪ.{#D0§fBª^ooÊϼUá”Qåš®i$Jú«$ø‹1àBpŽ†ß½HCdaN¬k,žt3¹ñ¦~ªÜv6žú¢ÔWºã£…quí(¤¸£z^kÎI©n‹Ë”NzÍ3ËÔŒ‚"Ó—&£öù¸Yn\>Ì?2ÈfBùÈ"G6vÀYÃck$üR•ðÞ_¹àÚó†_´¨qk\PAR2 PKTì       YN¨1h[úÏT~~O},OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 Main     Ü     
   Íg¤A#`œ8Ÿç"3r
Òôóò˜$Üàÿ……,#A-%ÎÇyÏ«ˆljË×["ò^ÙÃÀ#›(ø44üni£°nÓòH¼žÂü-
{ɍŠzÕÄ'AÅ…ÑXÒüÓÏ:MÉ”ÅÙÂöÿ:SÿÂ1ŸvéÉ+jª“l€¨õ¬*7z2;æ§gLwÃ2{W@ÌUó°ô¯q©tƒöŒ§RjF•þPAR2 PKTL       %9n2˜Ô¯íŠÄ²uT…Ð&OÂÐlŒ4Ï<ÊhÔï}´PAR 2.0 Creator QuickPar 0.9

Das von mir gennante Programm erstellt SFV, MD5 und SHA Dateien.

So sehen die SFV, MD5 und SHA Dateien in einem Text Editor aus.

 

[wupi]

Nimm HashCheck aus meiner Signatur. Das Programm ist sehr einfach zu bedienen und kann auch sha1 was ich auch empfehlen würde.

 

[BrollyLSSJ]

Fuer MD5 Hashsummen kenne ich noch den MD5Summer. Der kann die Dateien auch als *.md5 speichern, um die dann spaeter wieder zu vergleichen (sollten im gleichen Verzeichnis wie die zu untersuchende Datei liegen).

 

[testuser58]

HashCheck Shell Extension kann soweit ich das sehe nur .md5 erstellen?!

Also eigentlich möchte ich 2 möglichkeiten haben:
1. Prüfsummendatein erstellen & prüfen (auch über mehrere Verezichnisse hinweg)
2. Prüfsummen von markierten Dateien berechnen (um gleiche Dateien unter verschiedenen namen zu erkennen)

für 1. sieht EF Checksum manager ganz gut aus (auch wenn man scheinbar nicht wählen kann, in jedem Unterverzeichnis eine Prüfsummendateizu erstellen)

für CRC habe ich beides, jedoch für md5 oder gar sha leider nciht.

md5summer ist als etwas unkomfortabler ersatz von EF Checksum manager nutzbar, wobei es eine BETA ist und man nicht weiß, ob der SHA-1 Support schon einwandfrei ist (und die Beta ist von 2006, da wird nichts mehr kommen)

 

[wupi]

Du kannst den Dateityp auswählen.

 

[Hardkorn]

Im EF CheckSum Manager geht das hier.

 

[enteon]

md5 reicht für heutige festplattengrößen von der kollisionswahrscheinlichkeit her gerade noch aus (persönliche meinung).

am bequemsten ist es das checksummen dem dateisystem zu überlassen. Da kenn ich aber nur ZFS und BTRFS, beide natürlich nicht für windows zu haben^^ Die können auch deduplication, aber setzen dann soweit ich weiß nur hardlinks. Weiß nicht ob es software gibt die so ein event abfängt und dann fragt welche datei ins nirvana soll.

ich würde das ganze einfach mit einem kleinen skript automatisieren, das kann dann so intelligent sein wie du es wünscht. ich denk gelegentliches scrubben sollte sich gut automatisieren lassen, macht aber nur wirklich sinn wenn du auch einen zweiten satz daten hast, sonst weißt du zwar, dass entweder checksum oder daten beschädigt sind, kannst aber rein gar nichts daran ändern. Das würde doch zumindest mich sehr frustrieren

PS: wenn sich daten nie verändern (sollten) kannst du auch etwas schnelleres als md5 benutzen und dann bei einem mismatch bit für bit vergleichen, was sowieso gut wäre, solange praktikabel.
Leider ist das dateiweise checksummen auch nicht so super, da große dateien eine vielfach höhere kollisionswahrscheinlichkeit haben. Deshalb machen es die dateisysteme pro block (inode...), die ja sowieso schon vorhanden sind.

 

[testuser58]

fs-orientiert und deduplication - wunderbar, aber "ohne windows-support" ist ko-kriterium ^^

 

[enteon]

ko-kriterium für windows ^^

vielleicht auch spannend, für andere selbstbastler: https://bitbucket.org/maugier/shatag. dank dem backend aber nur xfs und ext, zumindet werden nur die auf der website erwähnt.

 

[testuser58]

Das KO-Kriterium für Linux sind case-sensitive Dateinamen und fehlende Kompatibilität zu Windows-Anwendungen