Dubblett filsökare som luras och vilken ska man skaffa ?

Det var väl en tråd förra veckan
Det bästa programmet jag hittat hittills är Doubblekiller, det är inte perfekt men det verka i vart fall ha mindre brister i funktionerna än andra jag provat.
https://www.bigbangenterprises.de/en/doublekiller/

Deduplikation är något som ser väldigt enkelt att utföra men med symboliska länkar, hårda länkar mm. väldigt snabbt kan bli komplicerat med cirkel-referenser mm. och det är enkelt att skjuta sig i foten där filer som man tänkte ha kvar - försvinner.

Därför är det extremt viktigt att kunna låsa mappar och filträn där dedupliceringsprogrammet inte får röra filerna oavsett hur många dubbletter den hittar där - en mastervolym eller filträd som är master och sedan från denna kan jämföra med andra filträd där den får ta bort filer i dessa trän som också finns i master-filträdet men lämna filerna som inte fins i kopia i masterfilträdet, även om de skulle finnas i flera exemplar av lika filer inom filträdet man vill tömma på dubbletter.

rmlint (cli-program) använder jag i Linux och uppfyller ovanstående - där kan man bestämma vilken mapp som är 'master' och inget tas bort ur även om det fins dubbletter inom denna och bara markerar dubbletter i andra mappen man vill ta bort dubbletter ur om det fins motsvarande fil i 'mastern'. Den arbetar med hash på filerna så även om filnamnen är olika så hittas dessa och bryr sig inte om var i filhierakin dessa hittas.

Just detta att den kan titta i hela diskar (backupdiskar främst) och mappträd (läs mellan snapshot i btrfs) - ta bort det som är lika mot master-mappen och lämna kvar det som är olika och inte röra filerna i 'master' är ofta betal-funktioner i dedupliceringsprogram för windows och ibland inte ens kan prova hur de arbetar i dess demoversioner.

rmlint kan spara hashvärdena som attribut kopplad mot filens modifieringstid vilket gör att senare körning kan gå väldigt mycket fortare om man tex. skall jämföra mellan två diskars filinnehåll på regelbunden basis - när man gör snapshot med BTRFS så följer alla dessa attribut med även i gjorda snapshot vilket gör det enkelt att snabbt jämföra tagna snapshot i olika tid och sedan ta bort allt som är lik i den äldre snapshoten och lämna kvar det som skiljer sig gentemot den nyare snapshot för en senare manuell granskning och eventuell radering,

upptäcker rmlint att modifieringstid har ändrats gentemot tidpunkten när hash för filen skapades så invalideras befintliga hashen och den räknas om på nytt och hashen uppdateras - men detta fungerar dessvärre bara i Unix-filsystem som ext4, BTRFS, XFS - inte på NTFS-filsystem som har annat sätt att hantera attribut...

När rmlint körs så tar den inte bort några filer utan skapar en bash-script som gör jobbet i en senare körning.

Till detta brukar demo-versionerna också ha gråat sådana saker som att ha 'masterträd' där inget får röras vid senare radering.

När jag spanade runt i samma ärende så gav jag upp till slut och nu görs all deduplicering med "rmlint" under linux, som också kan komma ihåg hashningen av filerna till nästa varv och inte behöver hasha om alla filer igen vid nästa sök - ja under rätt filsystem då...

Det är hashningen som tar tid, eller snarare datat som skall läsas ur disken för hashningen som oftast flaskar då varenda fil måste läsas igenom för att få en hash-värde på var och en då det senare använd för att jämföra filer med varandra.

'rmlint' kartlägger filerna i början och bygger läsordning för tex hantera massor av småfiler för att sedan komma igång med inläsningen med relativt sekventiell läsning utan för mycket sökningar (främst gällande snurrdiskar)

Att bara lita på filstorlek och namn gör man bara inte här... och det händer att man hittar kopior av lika filer där den ena fått bitrot - oftast för att en bit i slutet saknas trots att filstorleken är samma och det verkar som tex. kopiering har avbrutits i förtid i någon sammanhang - hur och varför vet jag inte men händer tillräckligt ofta för att aldrig lita på 'lika' filer utan att göra compare på byte-nivå eller ta hash-summa på dessa innan man tar bort den ena av dem.