Rensa dubletter i bildmapp ca 10.000 foton

2015-06-18 14:33

Permalänk

anon180898

Inaktiv

Registrerad: Okt 2011

●

Rensa dubletter i bildmapp ca 10.000 foton

OBS: Jag har fruktansvärt svårt att placera denna tråden, då ingen tråd känns helt korrekt. Jag chansar här först!

Problemet är enkelt och förhoppningsvis lösningen likaså..

Har haft olika iPhones genom åren, efterhand som det blir fullt i kameran så har man dragit över alla bilder i en mapp på datorn bara..
Problemet är att jag inte rensat samtliga från telefonen när jag gjort på detta sätt.. Så efter flera olika iPhone modeller och några år senare så är det nu 10k bilder i olika mappar från telefonen varav mycket, kanske 30-40% är dubletter...

Inte så insatt i just bilder så, är medveten om att bilderna lagrar data, vet inte om varje bild har någon unik kod på något sätt..
Många bilder heter ju samma sak typ "img_1005.jpg" osv.. Då countern nollställts några gånger..
(Alltså jag vill EJ skriva över bilder med samma namn om de inte är likadana, vilket händer om jag bara nu skulle dra in alla foton i en och samma mapp)

Vad jag kort och gott vill göra är att få in ALLA bilderna i en och samma mapp där dubletter skrivs över/raderas...

Jag löser helst detta under Linux men om det finns något program för Windows så får jag tugga i mig det helt enkelt.

Tänker spontant om det finns bilduforskare med "bildigenkänning" på något sätt så den känner av dubletter utefter någon unik bildkod eller punkter i bilden, etc..

Tusen tack på förhand!

Rapportera Redigera

Citera flera Citera

2015-06-18 14:43

Permalänk

AlexanderLindhe

Medlem

Registrerad: Mar 2011

●

Skrivet av anon180898:

OBS: Jag har fruktansvärt svårt att placera denna tråden, då ingen tråd känns helt korrekt. Jag chansar här först!

Problemet är enkelt och förhoppningsvis lösningen likaså..

Har haft olika iPhones genom åren, efterhand som det blir fullt i kameran så har man dragit över alla bilder i en mapp på datorn bara..
Problemet är att jag inte rensat samtliga från telefonen när jag gjort på detta sätt.. Så efter flera olika iPhone modeller och några år senare så är det nu 10k bilder i olika mappar från telefonen varav mycket, kanske 30-40% är dubletter...

Inte så insatt i just bilder så, är medveten om att bilderna lagrar data, vet inte om varje bild har någon unik kod på något sätt..
Många bilder heter ju samma sak typ "img_1005.jpg" osv.. Då countern nollställts några gånger..
(Alltså jag vill EJ skriva över bilder med samma namn om de inte är likadana, vilket händer om jag bara nu skulle dra in alla foton i en och samma mapp)

Vad jag kort och gott vill göra är att få in ALLA bilderna i en och samma mapp där dubletter skrivs över/raderas...

Jag löser helst detta under Linux men om det finns något program för Windows så får jag tugga i mig det helt enkelt.

Tänker spontant om det finns bilduforskare med "bildigenkänning" på något sätt så den känner av dubletter utefter någon unik bildkod eller punkter i bilden, etc..

Tusen tack på förhand!

Gå till inlägget

En snabb googling gav "http://www.howtogeek.com/200962/how-to-find-and-remove-duplic..."

Rapportera Redigera

Citera flera Citera

2015-06-18 14:46

Permalänk

Puko

Medlem

Plats: Uppsala
Registrerad: Jun 2015

●

om dubbletterna har kopia i namnet kan du bara skriva typ "delete *kopia*.*" i cmd

men innan du gör det dubbel checka med någon annan. vill inte bli ansvarig för förlorande minnen.

Visa signatur

Rapportera Redigera

Citera flera Citera

2015-06-18 14:51

Permalänk

Nesvop

Medlem ★

Plats: Västerås
Registrerad: Dec 2013

●

Skrivet av Puko:

om dubbletterna har kopia i namnet kan du bara skriva typ "delete *kopia*.*" i cmd

men innan du gör det dubbel checka med någon annan. vill inte bli ansvarig för förlorande minnen.

Gå till inlägget

Detta kommer inte fungera då många filer heter samma sak fast är olika foton.

T ex. IMG_001.png kan vara den första bilden som tagits med samtliga iphones,

bild 1 iphone 1=IMG_001.png
bild 1 iphone 2=IMG_001.png

etc

jag skulle säga att en slinga i linux som går igenom alla filer och kollar ifall att storleken är exakt samma borde räcka, det lär inte finnas två bilder som tar exakt lika stor plats om det inte är kopior. Men chansen finns givetvis...

Detta kan fixas med kommandona l och awk.

Rapportera Redigera

Citera flera Citera

2015-06-18 14:52

Permalänk

lassep1l1s

Medlem ★

Registrerad: Sep 2006

●

Duplicate Cleaner
http://www.digitalvolcano.co.uk/

Rapportera Redigera

Citera flera Citera

2015-06-18 14:54

Permalänk

e1m1

Medlem ★

Plats: Helsingborg
Registrerad: Maj 2005

●

Kanske är en bra tidpunkt att börja gå igenom och sortera alla bilder och lägga i map baserat på e.g. år och säsong, alternativt med större "events" med många bilder i egna mappar.

Visa signatur

Redbox: Asrock B650 Lightning ATX, 7800x3D -20CCO, XFX 6950XT, 2x32GB Corsair Vengence 6400 CL32, WD SN770 2TB, Corsair RMe 1000, Lian Li Lancool 216, Peerless Assassin 120 SE
Purpbox: Z87-Pro, I5 4670K@4.2, Sapphire 290 TRI-X, 2x8GB Crucial Tactical@stock, Deep Silence 1
Samsung Evo 250+500GB + QVO 1TB, 2x1TB 7200RPM backup/lagring
Det var bättre förr: E5300 2600MHz -> 3640MHz, Celeron 300A -> 450MHz

Rapportera Redigera

Citera flera Citera

2015-06-18 15:44

Permalänk

jookeer

Medlem ★

Plats: Stockholm
Registrerad: Jan 2003

●

Kan reka att ta en rejäl backup innan rensning, shit happens, typ...

Visa signatur

http://projectcamelotportal.com/ http://www.earthfiles.com/
http://divinecosmos.com/start-here/davids-blog/1023-financial...
http://www.coasttocoastam.com/ http://mkaku.org/home/
http://mufon.com/ http://beforeitsnews.com/

Rapportera Redigera

Citera flera Citera (2)

2015-06-19 11:44

Permalänk

Knashatt

Medlem ★

Registrerad: Jan 2002

●

Förmodar att även iPhone sparar EXIF-information i sina bilder???
Eller är Apple så hjärndöda att dom även kringgår den standaren?

I alla fall så finns det i EXIF information om vilken datum och klockslag du tog själva kortet.
Jag skulle använda AmoK Exif Sorter som är en av dom bästa (enligt mig själv) programm för att döpa om filnamnen till datum och klockslag som kortet togs.
Jag har hittat många program som inte döper om efter datumet och klockslaget bilden togs utan när bilden lades in i datorn.

Amok gör detta snabbt och enkelt. Jag döper om alla mina bilder så här:

[2015-06-19 114051].jpg

Om jag tex har tagit en grupp bilder på en resa i Grekland kan jag väldigt lätt skriva in så alla bilder blir så här:

[2015-06-01 102054] Grekland.jpg
[2015-06-01 102132] Grekland.jpg
[2015-06-01 124859] Grekland.jpg

På detta sätt är alla bilder per automatik i rätt "ordning".

Jag använder denna variabel för filnamnet:

[%year%-%month%-%day% %hour%%minute%%second%]

Gör du så på alla dina 10.000 bilder hamna i rätt tidsordning och bli väldigt lätt att sortera efter detta.
Skulle du nu ha kopior på dessa bilder kommer det bli så här.

[2015-06-19 114051].jpg
[2015-06-19 114051]-001.jpg
[2015-06-19 114051]-002.jpg

Dessa bilder kommer sticka ut rejält och du kan då kontrollera vilka som ska bort.

Det finns säkert andra program som letar upp just dubbletter på bilder på ett bra sätt.
Men ta och döp om bilderna så du snabbt kan se när du tog dom.

Visa signatur

Rapportera Redigera

Citera flera Citera (3)

2015-06-19 11:53

Permalänk

mrqaffe

Rekordmedlem ★

Plats: Salstad
Registrerad: Feb 2009

●

Doublekiller är ett mycket snabbt och bra prog för att leta alla typer av exakta dubbletter, det går att ställa in bit för bit jämförelse om man vill.
http://www.bigbangenterprises.de/en/doublekiller/
Gratisversionen är lite långsammare.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Rapportera Redigera

Citera flera Citera

2015-06-19 12:03

Permalänk

-=Mr_B=-

Medlem

Plats: Helsingborg
Registrerad: Maj 2003

●

Skrivet av Knashatt:

Text

Gå till inlägget

Om han har dubletter, är det troligtvis inte för att han tagit samma bild flera gånger, med olika telefoner, utan för att han flyttat bilden till den nya luren när han uppgraderat. EXIF infon torde vara opåverkad av det.

@anon180898
dupeGuru har jag använt. Jag såg att det redan tipsats om den mjukvaran.
Picture Edition gjorde ett fantastiskt jobb med bilder, Music Edition med MP3'or.
Jag misstänker att alternativen som nämnts är minst lika bra, men eftersom jag inte provat dem...

Lycka till.
B!

Visa signatur

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Rapportera Redigera

Citera flera Citera

2015-06-19 12:47

Permalänk

Knashatt

Medlem ★

Registrerad: Jan 2002

●

Skrivet av -=Mr_B=-:

Om han har dubletter, är det troligtvis inte för att han tagit samma bild flera gånger, med olika telefoner, utan för att han flyttat bilden till den nya luren när han uppgraderat. EXIF infon torde vara opåverkad av det.

Gå till inlägget

EXIF-informationen ligger som du säger inbakad i själva bilden så den påverkas inte.
Och tar man samma bild flera gånger så blir det ändå inte dubbletter för det är ju flera bilder på samma objekt, men inte dubbletter, alltså kommer EXIF-informationen ha någon sekund skillnad på varje bild.

Det jag menar är om han just har dubbletter på några bilder kommer dessa sticka ut.
Genom Amok EXIF-sorter kommer hela hans problem vara löst utan att leta efter filer som har lika namn men olika innehåll.
Alla bilder kommer lätt kunna sorteras tex årsvis i mappar.
Alla bilder kommer lätt kunna letas upp man man vet vilket år och månad man tog ett kort UTAN att behöva några externa program eller plattformar.

EDIT:
Många av programmen som tippas är just ute efter att leta upp bilder som har samma bildnamn men olika bildinehåll.
Eller lika bildinehåll med olika filnamn.
Resten av bilderna kommer fortfarande ha samma krytpiska namn och ligga lika stor oordning som innan.

Fördelen att döpa om ALLA filer efter datum och tid är att du får en ordning i alla 10.000-tals bilder. Du kan direkt efter den snabba process det tar att döpa om dom till datum och tid lägga in dom i mappar efter år och månad tex.
Så här har jag upplagt alla mina bilder tex:

Varje år i en separat mapp och sedan en månad för varje månad. Snabbt och enkelt att hitta bilder man letar efter.
Eftersom jag har bilder från 2000 och framåt måste man ha någon typ av ordning.

Senast redigerat 2015-06-19 12:52

Visa signatur

Rapportera Redigera

Citera flera Citera

2015-06-19 20:21

Permalänk

anon180898

Inaktiv

Registrerad: Okt 2011

●

Amazing! Trodde inte jag skulle få så här effektiv respons på mitt problem. Tusen tack samtliga som försökt hjälpa mig. Jag är övertygad om att något av allt detta löser mitt problem. Jag ska testa ovanstående alternativ under veckan så återkommer jag med vilket som fungerade bäst.

Glad midsommar på er!

Rapportera Redigera

Citera flera Citera

2015-06-19 22:34

Permalänk

skog1s

Medlem ★

Plats: Skåne
Registrerad: Aug 2007

●

Skrivet av Knashatt:

EXIF-informationen ligger som du säger inbakad i själva bilden så den påverkas inte.
Och tar man samma bild flera gånger så blir det ändå inte dubbletter för det är ju flera bilder på samma objekt, men inte dubbletter, alltså kommer EXIF-informationen ha någon sekund skillnad på varje bild.

Det jag menar är om han just har dubbletter på några bilder kommer dessa sticka ut.
Genom Amok EXIF-sorter kommer hela hans problem vara löst utan att leta efter filer som har lika namn men olika innehåll.
Alla bilder kommer lätt kunna sorteras tex årsvis i mappar.
Alla bilder kommer lätt kunna letas upp man man vet vilket år och månad man tog ett kort UTAN att behöva några externa program eller plattformar.

EDIT:
Många av programmen som tippas är just ute efter att leta upp bilder som har samma bildnamn men olika bildinehåll.
Eller lika bildinehåll med olika filnamn.
Resten av bilderna kommer fortfarande ha samma krytpiska namn och ligga lika stor oordning som innan.

Fördelen att döpa om ALLA filer efter datum och tid är att du får en ordning i alla 10.000-tals bilder. Du kan direkt efter den snabba process det tar att döpa om dom till datum och tid lägga in dom i mappar efter år och månad tex.
Så här har jag upplagt alla mina bilder tex:

http://i57.tinypic.com/beozn.jpg

Varje år i en separat mapp och sedan en månad för varje månad. Snabbt och enkelt att hitta bilder man letar efter.
Eftersom jag har bilder från 2000 och framåt måste man ha någon typ av ordning.

Gå till inlägget

Har själv exakt samma upplägg i mappträdet som du.
Lightroom fixar det till mig automatiskt.
Har haft det så i ca tio år, innan dess vart det inte så kul.

Visa signatur

Pc 1--> [AsRock DualSata2][AMD4600+X2][7800GT] [Intel SSD X-25 80GB G2][1TB F3][750GB IDE][4GB XMSCorsiar]Pc 2--> [Asus Crosshair] [AMD 4800+X2] [2st 8800GT i SLI] [RAID 0 2x250GB] [6GB XMSCorsair] [Corsair HX750]Pc 3-->[HP Microserver 12TB]Pc 4--> AsRock P67 Extreme 4,i7 2600K @ 4.0 GHz,830 256GB,16GB 1600MHz, R9 290X Foto [Nikon D7000][70-300/35 1,8/18-55 [Skärmar=24",24",24" Eyefinity]

Rapportera Redigera

Citera flera Citera

2015-06-21 18:33

Permalänk

anon180898

Inaktiv

Registrerad: Okt 2011

●

UPDATE:

Jag har nu försökt förgäves i ca 1 timme att få "Amok Exif Sorter" att starta.. Totalvägrar, har senaste java installerat givetvis..

Provar just nu Doublekiller som också föreslogs där jag matchar dubletter om filnamn och fildatum och filstorlek är identiska. Så det bör väl räcka.. Gjort backup först så får vi se.

Den scannar nu 27562 bilder... Så det var bra många fler än jag väntade mig dessutom..

Sen blir det att sortera efter yy/mm/dd

Tack än en gång för alla tips.

UPDATE #2:

Efter att ha kört "DoubleKiller" så var 17741 st bilder "identiska" med namn, datum och filstorlek och flyttades till en egen mapp.
Väldigt smidigt måste jag säga. Fick massa konstiga .AAE filer kvar i original mapparna dock. Men allt verkar gått som väntat.
Nu ska jag bara hitta något program för att lägga allting i mappar efter datum, lär ju inte vara särskilt komplicerat.

Tack än en gång!

Senast redigerat 2015-06-21 19:42

Rapportera Redigera

Citera flera Citera

2015-06-21 20:21

Permalänk

Knashatt

Medlem ★

Registrerad: Jan 2002

●

Skrivet av anon180898:

UPDATE:

Jag har nu försökt förgäves i ca 1 timme att få "Amok Exif Sorter" att starta.. Totalvägrar, har senaste java installerat givetvis..

Gå till inlägget

Vilken version av Amok Exif Sorter har du valt? 32 bit eller 64 bit?

Väljer du Amok 64 bit måste du installera JAVA 64 bit version.
Väljer du Amok 32 bit måste du installera JAVA 32 bit version.

Oftast är bara 32 bit JAVA eller 64 bit JAVA installerat.
För att ha båda JAVA-versionerna måste du installera båda versionerna.
Det räcker inte att köra den autoinstallationen som sker via hemsidan.

Kolla där jag markerat med gul ruta:

Där kan du välja 64 bitars version av JAVA (eller 32 bitars version i mitten).
Som du ser kan du bara installera JAVA offline om du vill välja exakt vilken version du ska ha, 32 eller 64 bitars. Väljer du online-installation så väljs bara en av versionerna och därför kan det krångla.

Du kan alltså installera BÅDA 32 bits version OCH 64 bits version av JAVA.

Visa signatur

Rapportera Redigera

Citera flera Citera (3)

2015-06-22 18:56

Permalänk

anon180898

Inaktiv

Registrerad: Okt 2011

●

Skrivet av Knashatt:

...Massa text...

Gå till inlägget

Tack för guiden Knashatt, förhoppningsvis är den till nytta för någon annan.
Jag visste dock redan detta och har både 32-bit och 64-bit Java installerat.
Programmet ger noll reaktion när jag exekverar det i alla fall.
Men som sagt, det löste sig med andra programmet.

Rapportera Redigera

Citera flera Citera

2015-06-22 19:07

Permalänk

bärplockaren

Medlem ★