Jämnföra ett stort antal filer i varierande storlek i en katalog

Permalänk
Medlem

Jämnföra ett stort antal filer i varierande storlek i en katalog

Hej.
Någon som vet av något program/script för att jämnföra runt 1200st filer och presentera vilka filer som är lika.
Att köra md5 på alla filer lär ta lite väl lång tid. filerna är i olika storlek allt från 2MiB upp till 1.3GiB.. Det är en del filer som heter olika men det är samma innehåll. alla filer finns i en och samma katalog.

Om ingen känner till något. så tänkte jag på om det går att lösa det på detta sätt:
Först kolla storleken på alla filer sedan jämnföra dom med varandra. Om dom är lika så kör man diff/md5 för att kolla om det är samma innehåll om inte så skrivs det ut.
Eller har någon annan något bättre förslag på hur man ska göra så det inte tar allt för lång tid?

//Johan

Permalänk
Medlem

sök på "file compare linux" elelr nått.

hittade massor som http://www.surfpack.com/software/mergefolders/ men hur tillförlitliga de är vette.. hoppas du hittar nått iaf, skulle också behöva.

Permalänk
Medlem

jag har sökt men har inte riktigt hittat något.
men jag vet nu hur jag ska fixa fram vilka filer som har samma storlek..
ls -l | sort -k 1 -n | uniq -w 6 -d
sedan får jag hitta något sätt att jämnföra alla igen och ta ut bara dom som har den storleken som jag fick ut av den dära onelinern.

EDIT:
Med hjälp av m0rec / xevz så fick jag fram denna oneliner ;D

ls -s | sort -k 1 -n | uniq -w 6 -D | sed 's/^ *\(.*\) *$/\1/' | cut -d' ' -f'2-' | tr '\n' '\0' | xargs -0 md5sum | uniq -w 32 -d --all-repeated=separate

Med den dära får jag fram alla filer som är lika beroende på md5 hashen. sedan manuelt får man ta bort dom som är lika.