Rensa dubletter i bildmapp ca 10.000 foton

Trädvy Permalänk
Inaktiv
Registrerad
Okt 2011

Rensa dubletter i bildmapp ca 10.000 foton

OBS: Jag har fruktansvärt svårt att placera denna tråden, då ingen tråd känns helt korrekt. Jag chansar här först!

Problemet är enkelt och förhoppningsvis lösningen likaså..

Har haft olika iPhones genom åren, efterhand som det blir fullt i kameran så har man dragit över alla bilder i en mapp på datorn bara..
Problemet är att jag inte rensat samtliga från telefonen när jag gjort på detta sätt.. Så efter flera olika iPhone modeller och några år senare så är det nu 10k bilder i olika mappar från telefonen varav mycket, kanske 30-40% är dubletter...

Inte så insatt i just bilder så, är medveten om att bilderna lagrar data, vet inte om varje bild har någon unik kod på något sätt..
Många bilder heter ju samma sak typ "img_1005.jpg" osv.. Då countern nollställts några gånger..
(Alltså jag vill EJ skriva över bilder med samma namn om de inte är likadana, vilket händer om jag bara nu skulle dra in alla foton i en och samma mapp)

Vad jag kort och gott vill göra är att få in ALLA bilderna i en och samma mapp där dubletter skrivs över/raderas...

Jag löser helst detta under Linux men om det finns något program för Windows så får jag tugga i mig det helt enkelt.

Tänker spontant om det finns bilduforskare med "bildigenkänning" på något sätt så den känner av dubletter utefter någon unik bildkod eller punkter i bilden, etc..

Tusen tack på förhand!

Trädvy Permalänk
Medlem
Registrerad
Mar 2011
Skrivet av anon180898:

OBS: Jag har fruktansvärt svårt att placera denna tråden, då ingen tråd känns helt korrekt. Jag chansar här först!

Problemet är enkelt och förhoppningsvis lösningen likaså..

Har haft olika iPhones genom åren, efterhand som det blir fullt i kameran så har man dragit över alla bilder i en mapp på datorn bara..
Problemet är att jag inte rensat samtliga från telefonen när jag gjort på detta sätt.. Så efter flera olika iPhone modeller och några år senare så är det nu 10k bilder i olika mappar från telefonen varav mycket, kanske 30-40% är dubletter...

Inte så insatt i just bilder så, är medveten om att bilderna lagrar data, vet inte om varje bild har någon unik kod på något sätt..
Många bilder heter ju samma sak typ "img_1005.jpg" osv.. Då countern nollställts några gånger..
(Alltså jag vill EJ skriva över bilder med samma namn om de inte är likadana, vilket händer om jag bara nu skulle dra in alla foton i en och samma mapp)

Vad jag kort och gott vill göra är att få in ALLA bilderna i en och samma mapp där dubletter skrivs över/raderas...

Jag löser helst detta under Linux men om det finns något program för Windows så får jag tugga i mig det helt enkelt.

Tänker spontant om det finns bilduforskare med "bildigenkänning" på något sätt så den känner av dubletter utefter någon unik bildkod eller punkter i bilden, etc..

Tusen tack på förhand!

En snabb googling gav "http://www.howtogeek.com/200962/how-to-find-and-remove-duplic..."

Trädvy Permalänk
Medlem
Plats
Uppsala
Registrerad
Jun 2015

om dubbletterna har kopia i namnet kan du bara skriva typ "delete *kopia*.*" i cmd

men innan du gör det dubbel checka med någon annan. vill inte bli ansvarig för förlorande minnen.

| Intel I7 3770(inte k) @ 4.1ghz | Hyper 212 evo | Asus P8Z77-LX |
| Asus Nvidia GTX 970 strix | ADATA 4x8GB RAM @ 1600mhz cas 9 |
| Corsair cs850m 80+ Guld | 250GB Samsung 840 evo | 1TB seagate |
| fractal desing arc midi r2 |

Trädvy Permalänk
Medlem
Plats
Västerås
Registrerad
Dec 2013
Skrivet av Puko:

om dubbletterna har kopia i namnet kan du bara skriva typ "delete *kopia*.*" i cmd

men innan du gör det dubbel checka med någon annan. vill inte bli ansvarig för förlorande minnen.

Detta kommer inte fungera då många filer heter samma sak fast är olika foton.

T ex. IMG_001.png kan vara den första bilden som tagits med samtliga iphones,

bild 1 iphone 1=IMG_001.png
bild 1 iphone 2=IMG_001.png

etc

jag skulle säga att en slinga i linux som går igenom alla filer och kollar ifall att storleken är exakt samma borde räcka, det lär inte finnas två bilder som tar exakt lika stor plats om det inte är kopior. Men chansen finns givetvis...

Detta kan fixas med kommandona l och awk.

Trädvy Permalänk
Medlem
Registrerad
Sep 2006
Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2005

Kanske är en bra tidpunkt att börja gå igenom och sortera alla bilder och lägga i map baserat på e.g. år och säsong, alternativt med större "events" med många bilder i egna mappar.

Z87-Pro, I5 4670K@4.0 (4.2 single), Sapphire 290 TRI-X ~10% överklock, 16GB Crucial Tactical@stock, Deep Silent 1, Samsung Evo 250GB + 2x1TB 7200 + 500GB SSD (också Evo?)
Toshiba Satellite L855-10U
P5QL, E5300@3640Hz, GTX275, 4GB kingston 800MHz cl4, Threehundred, Zalman 500W

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jan 2003

Kan reka att ta en rejäl backup innan rensning, shit happens, typ...

Trädvy Permalänk
Medlem
Registrerad
Jan 2002

Förmodar att även iPhone sparar EXIF-information i sina bilder???
Eller är Apple så hjärndöda att dom även kringgår den standaren?

I alla fall så finns det i EXIF information om vilken datum och klockslag du tog själva kortet.
Jag skulle använda AmoK Exif Sorter som är en av dom bästa (enligt mig själv) programm för att döpa om filnamnen till datum och klockslag som kortet togs.
Jag har hittat många program som inte döper om efter datumet och klockslaget bilden togs utan när bilden lades in i datorn.

Amok gör detta snabbt och enkelt. Jag döper om alla mina bilder så här:

[2015-06-19 114051].jpg

Om jag tex har tagit en grupp bilder på en resa i Grekland kan jag väldigt lätt skriva in så alla bilder blir så här:

[2015-06-01 102054] Grekland.jpg
[2015-06-01 102132] Grekland.jpg
[2015-06-01 124859] Grekland.jpg

På detta sätt är alla bilder per automatik i rätt "ordning".

Jag använder denna variabel för filnamnet:

[%year%-%month%-%day% %hour%%minute%%second%]

Gör du så på alla dina 10.000 bilder hamna i rätt tidsordning och bli väldigt lätt att sortera efter detta.
Skulle du nu ha kopior på dessa bilder kommer det bli så här.

[2015-06-19 114051].jpg
[2015-06-19 114051]-001.jpg
[2015-06-19 114051]-002.jpg

Dessa bilder kommer sticka ut rejält och du kan då kontrollera vilka som ska bort.

Det finns säkert andra program som letar upp just dubbletter på bilder på ett bra sätt.
Men ta och döp om bilderna så du snabbt kan se när du tog dom.

Dator: Core i7 4770K @ 3.50 GHz | MSI Z87-S02 | 1600 MHz DDR3 16 GByte | MSI GeForce GTX 580 oc 1536 Mbyte |
Kamera: Canon EOS 6d | EF 17-40mm f/4L USM | EF 35mm f/2 IS USM | EF 100-200mm f/4.5 | Speedlite 430EX II |
Mina Flickr-bilder: www.flickr.com

Trädvy Permalänk
Rekordmedlem
Plats
Salstad
Registrerad
Feb 2009

Doublekiller är ett mycket snabbt och bra prog för att leta alla typer av exakta dubbletter, det går att ställa in bit för bit jämförelse om man vill.
http://www.bigbangenterprises.de/en/doublekiller/
Gratisversionen är lite långsammare.

Phenom 2 960T (körs x6) med passivt Ninja på Asus Crosshair 4 Asus 4850 och en väldig massa masslagring.Passiv kyld Northq nätdel 450W Antec P 180 med Schyte o Sharkoon fläktar via en t-balancer, väldigt tyst, oftast passivt. Datorljud 2kanal: ljudkort/dsp Behringer DCX2496, högtalare Truth B3031A, Truth B2092A Har också Oscilloskop och mätmikrofon.

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003
Skrivet av Knashatt:

Om han har dubletter, är det troligtvis inte för att han tagit samma bild flera gånger, med olika telefoner, utan för att han flyttat bilden till den nya luren när han uppgraderat. EXIF infon torde vara opåverkad av det.

@anon180898
dupeGuru har jag använt. Jag såg att det redan tipsats om den mjukvaran.
Picture Edition gjorde ett fantastiskt jobb med bilder, Music Edition med MP3'or.
Jag misstänker att alternativen som nämnts är minst lika bra, men eftersom jag inte provat dem...

Lycka till.
B!

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Registrerad
Jan 2002
Skrivet av -=Mr_B=-:

Om han har dubletter, är det troligtvis inte för att han tagit samma bild flera gånger, med olika telefoner, utan för att han flyttat bilden till den nya luren när han uppgraderat. EXIF infon torde vara opåverkad av det.

EXIF-informationen ligger som du säger inbakad i själva bilden så den påverkas inte.
Och tar man samma bild flera gånger så blir det ändå inte dubbletter för det är ju flera bilder på samma objekt, men inte dubbletter, alltså kommer EXIF-informationen ha någon sekund skillnad på varje bild.

Det jag menar är om han just har dubbletter på några bilder kommer dessa sticka ut.
Genom Amok EXIF-sorter kommer hela hans problem vara löst utan att leta efter filer som har lika namn men olika innehåll.
Alla bilder kommer lätt kunna sorteras tex årsvis i mappar.
Alla bilder kommer lätt kunna letas upp man man vet vilket år och månad man tog ett kort UTAN att behöva några externa program eller plattformar.

EDIT:
Många av programmen som tippas är just ute efter att leta upp bilder som har samma bildnamn men olika bildinehåll.
Eller lika bildinehåll med olika filnamn.
Resten av bilderna kommer fortfarande ha samma krytpiska namn och ligga lika stor oordning som innan.

Fördelen att döpa om ALLA filer efter datum och tid är att du får en ordning i alla 10.000-tals bilder. Du kan direkt efter den snabba process det tar att döpa om dom till datum och tid lägga in dom i mappar efter år och månad tex.
Så här har jag upplagt alla mina bilder tex:

Varje år i en separat mapp och sedan en månad för varje månad. Snabbt och enkelt att hitta bilder man letar efter.
Eftersom jag har bilder från 2000 och framåt måste man ha någon typ av ordning.

Dator: Core i7 4770K @ 3.50 GHz | MSI Z87-S02 | 1600 MHz DDR3 16 GByte | MSI GeForce GTX 580 oc 1536 Mbyte |
Kamera: Canon EOS 6d | EF 17-40mm f/4L USM | EF 35mm f/2 IS USM | EF 100-200mm f/4.5 | Speedlite 430EX II |
Mina Flickr-bilder: www.flickr.com

Trädvy Permalänk
Inaktiv
Registrerad
Okt 2011

Amazing! Trodde inte jag skulle få så här effektiv respons på mitt problem. Tusen tack samtliga som försökt hjälpa mig. Jag är övertygad om att något av allt detta löser mitt problem. Jag ska testa ovanstående alternativ under veckan så återkommer jag med vilket som fungerade bäst.

Glad midsommar på er!

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Aug 2007
Skrivet av Knashatt:

EXIF-informationen ligger som du säger inbakad i själva bilden så den påverkas inte.
Och tar man samma bild flera gånger så blir det ändå inte dubbletter för det är ju flera bilder på samma objekt, men inte dubbletter, alltså kommer EXIF-informationen ha någon sekund skillnad på varje bild.

Det jag menar är om han just har dubbletter på några bilder kommer dessa sticka ut.
Genom Amok EXIF-sorter kommer hela hans problem vara löst utan att leta efter filer som har lika namn men olika innehåll.
Alla bilder kommer lätt kunna sorteras tex årsvis i mappar.
Alla bilder kommer lätt kunna letas upp man man vet vilket år och månad man tog ett kort UTAN att behöva några externa program eller plattformar.

EDIT:
Många av programmen som tippas är just ute efter att leta upp bilder som har samma bildnamn men olika bildinehåll.
Eller lika bildinehåll med olika filnamn.
Resten av bilderna kommer fortfarande ha samma krytpiska namn och ligga lika stor oordning som innan.

Fördelen att döpa om ALLA filer efter datum och tid är att du får en ordning i alla 10.000-tals bilder. Du kan direkt efter den snabba process det tar att döpa om dom till datum och tid lägga in dom i mappar efter år och månad tex.
Så här har jag upplagt alla mina bilder tex:

http://i57.tinypic.com/beozn.jpg

Varje år i en separat mapp och sedan en månad för varje månad. Snabbt och enkelt att hitta bilder man letar efter.
Eftersom jag har bilder från 2000 och framåt måste man ha någon typ av ordning.

Har själv exakt samma upplägg i mappträdet som du.
Lightroom fixar det till mig automatiskt.
Har haft det så i ca tio år, innan dess vart det inte så kul.

Pc 1--> [AsRock DualSata2][AMD4600+X2][7800GT] [Intel SSD X-25 80GB G2][1TB F3][750GB IDE][4GB XMSCorsiar]Pc 2--> [Asus Crosshair] [AMD 4800+X2] [2st 8800GT i SLI] [RAID 0 2x250GB] [6GB XMSCorsair] [Corsair HX750]Pc 3-->[NAS DNS-323 3TB][Skärmar=24",24",24" Eyefinity]Pc 4--> AsRock P67 Extreme 4,i7 2600K @ 4.0 GHz,830 256GB,16GB 1600MHz,HD 6950 2GBFoto [Nikon D3100][70-300/35 1,8/18-55

Trädvy Permalänk
Inaktiv
Registrerad
Okt 2011

UPDATE:

Jag har nu försökt förgäves i ca 1 timme att få "Amok Exif Sorter" att starta.. Totalvägrar, har senaste java installerat givetvis..

Provar just nu Doublekiller som också föreslogs där jag matchar dubletter om filnamn och fildatum och filstorlek är identiska. Så det bör väl räcka.. Gjort backup först så får vi se.

Den scannar nu 27562 bilder... Så det var bra många fler än jag väntade mig dessutom..

Sen blir det att sortera efter yy/mm/dd

Tack än en gång för alla tips.

UPDATE #2:

Efter att ha kört "DoubleKiller" så var 17741 st bilder "identiska" med namn, datum och filstorlek och flyttades till en egen mapp.
Väldigt smidigt måste jag säga. Fick massa konstiga .AAE filer kvar i original mapparna dock. Men allt verkar gått som väntat.
Nu ska jag bara hitta något program för att lägga allting i mappar efter datum, lär ju inte vara särskilt komplicerat.

Tack än en gång!

Trädvy Permalänk
Medlem
Registrerad
Jan 2002
Skrivet av anon180898:

UPDATE:

Jag har nu försökt förgäves i ca 1 timme att få "Amok Exif Sorter" att starta.. Totalvägrar, har senaste java installerat givetvis..

Vilken version av Amok Exif Sorter har du valt? 32 bit eller 64 bit?

Väljer du Amok 64 bit måste du installera JAVA 64 bit version.
Väljer du Amok 32 bit måste du installera JAVA 32 bit version.

Oftast är bara 32 bit JAVA eller 64 bit JAVA installerat.
För att ha båda JAVA-versionerna måste du installera båda versionerna.
Det räcker inte att köra den autoinstallationen som sker via hemsidan.

Kolla där jag markerat med gul ruta:

Där kan du välja 64 bitars version av JAVA (eller 32 bitars version i mitten).
Som du ser kan du bara installera JAVA offline om du vill välja exakt vilken version du ska ha, 32 eller 64 bitars. Väljer du online-installation så väljs bara en av versionerna och därför kan det krångla.

Du kan alltså installera BÅDA 32 bits version OCH 64 bits version av JAVA.

Dator: Core i7 4770K @ 3.50 GHz | MSI Z87-S02 | 1600 MHz DDR3 16 GByte | MSI GeForce GTX 580 oc 1536 Mbyte |
Kamera: Canon EOS 6d | EF 17-40mm f/4L USM | EF 35mm f/2 IS USM | EF 100-200mm f/4.5 | Speedlite 430EX II |
Mina Flickr-bilder: www.flickr.com

Trädvy Permalänk
Inaktiv
Registrerad
Okt 2011
Skrivet av Knashatt:

...Massa text...

Tack för guiden Knashatt, förhoppningsvis är den till nytta för någon annan.
Jag visste dock redan detta och har både 32-bit och 64-bit Java installerat.
Programmet ger noll reaktion när jag exekverar det i alla fall.
Men som sagt, det löste sig med andra programmet.

Trädvy Permalänk
Medlem
Plats
Värmland
Registrerad
Feb 2005

Jag brukar köra Duplicate File Remover, den funkar helt okej.

Desktop|Intel I7 6700k|Asus Z170-e|Nvidia GTX 1070|Corsair DDR4 2x8GB|525GB SSD|1,5TB
Mouse|Steelseries Sensei|Keyboard|Qpad MK50|Monitor|Benq XL2420t|Benq G2010WA
Laptop|HP ProBook 4320s I3|128GB SSD|4GB DDR3|NAS|Synology 411j 13TB
Tab|Nexus 7 2gen 16GB|Phone|iPhone SE 64GB|HTPC|2x Raspberry Pi 3