Jämnföra ett stort antal filer i varierande storlek i en katalog
Hej.
Någon som vet av något program/script för att jämnföra runt 1200st filer och presentera vilka filer som är lika.
Att köra md5 på alla filer lär ta lite väl lång tid. filerna är i olika storlek allt från 2MiB upp till 1.3GiB.. Det är en del filer som heter olika men det är samma innehåll. alla filer finns i en och samma katalog.
Om ingen känner till något. så tänkte jag på om det går att lösa det på detta sätt:
Först kolla storleken på alla filer sedan jämnföra dom med varandra. Om dom är lika så kör man diff/md5 för att kolla om det är samma innehåll om inte så skrivs det ut.
Eller har någon annan något bättre förslag på hur man ska göra så det inte tar allt för lång tid?
jag har sökt men har inte riktigt hittat något.
men jag vet nu hur jag ska fixa fram vilka filer som har samma storlek..
ls -l | sort -k 1 -n | uniq -w 6 -d
sedan får jag hitta något sätt att jämnföra alla igen och ta ut bara dom som har den storleken som jag fick ut av den dära onelinern.
EDIT:
Med hjälp av m0rec / xevz så fick jag fram denna oneliner ;D
