Forum Mjukvara Programmering och digitalt skapande Tråd Inlägg

Automatisk sökmotor - hjälp!

1
Skriv svar
Permalänk
Medlem ★
●

Automatisk sökmotor - hjälp!

Hej gott folk!

Det har hänt ett flertal gånger att då jag hittat annonser för en specifik sak på t.ex. Blocket eller Tradera så har saken redan sålts, även om annonsen funnits uppe i några timmar. Trött som jag är så vill jag nu skriva en kod som uppdaterar mig via mail om sidan uppdaterats med en ny annons och efter lite letande på Google så har jag kommit fram till nada. Dock har jag hört om folk här som har skrivit liknande script.

Mina frågor till er nu är:

Vilket programmeringsspråk lämpar sig bäst för detta ändamål?
Finns det någon som redan skrivit ett program (antingen här eller någon annanstans på nätet) som fungerar som jag vill och kan/vill dela med sig med koden?

Tack!

Visa signatur

12c/24t 4.0GHz (Zen2) • 2x16GiB 3200MHz C14 • RTX 2080 FE 1965MHz 7000MHz • X570 I PW • Ghost S1 MKII

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Blocket har en funktion som heter "Bevaka sökning".

Redigera
Citera flera Citera
Permalänk
Rekordmedlem ★
●

Menar du att du letar nån sökrobot, nåt som automatiskt letar efter annonser efter dina regler?
Ska du söka "överallt"så finns redan www.allaannonser.se

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Skulle säga att python (eller perl?) är det du ska använda för att göra en crawler.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av iXam:

Blocket har en funktion som heter "Bevaka sökning".

Gå till inlägget

Problemet med denna är att den uppdaterar mig en gång om dagen medan jag behöver få en uppdatering direkt

Skrivet av mrqaffe:

Menar du att du letar nån sökrobot, nåt som automatiskt letar efter annonser efter dina regler?
Ska du söka "överallt"så finns redan www.allaannonser.se

Gå till inlägget

Kollat där men det verkar inte finnas något som uppdaterar mig varje gång en ny annons kommer in (om jag inte missat det?)

Skrivet av Wully:

Skulle säga att python (eller perl?) är det du ska använda för att göra en crawler.

Gå till inlägget

Ska kolla upp vad detta innebär, tack!

Fler tips?

Visa signatur

12c/24t 4.0GHz (Zen2) • 2x16GiB 3200MHz C14 • RTX 2080 FE 1965MHz 7000MHz • X570 I PW • Ghost S1 MKII

Redigera
Citera flera Citera
Permalänk
Medlem
●

Låter som en rolig ide, man hade kunnat göra ett program där man stoppar in en länk, sökresultatssidan i ditt fall, och sedan kollar den varje minut om sidan har förändrats. Ska leka runt i lite olika språk och försöka bygga något.

Visa signatur

Stationär: CPU: Intel i5 4690k GPU: ASUS Strix GTX 970 4GB Moderkort: Asus Maximus VII Ranger RAM: Crucial Ballistix Sport 2x8GB Chassi: NZXT H440 CPU-kylare: Corsair H80i PSU: EVGA SuperNOVA G2 750W SSD: Samsung 850 Evo 256GB
Laptop: MacBook Pro 15", late 2016
Programspråk: Java, C++, Python, PHP, Javascript
Hemsida: http://jmcsocial.com

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Kevinkingeen:

Låter som en rolig ide, man hade kunnat göra ett program där man stoppar in en länk, sökresultatssidan i ditt fall, och sedan kollar den varje minut om sidan har förändrats. Ska leka runt i lite olika språk och försöka bygga något.

Gå till inlägget

Finns risk för att bli IP-bannad om man pullar för mycket och ofta.

Men om trådskaparen är sugen på att lära sig programmera så är ju denna övningen absolut en bra nybörjargrej, efter nån månad

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av iXam:

Finns risk för att bli IP-bannad om man pullar för mycket och ofta.

Men om trådskaparen är sugen på att lära sig programmera så är ju denna övningen absolut en bra nybörjargrej, efter nån månad

Gå till inlägget

Tja, räcker väl med att pulla en gång i timmen eller så och det kan jag inte tänka mig att man blir bannad av Vore ju en klockren funktion för blocket faktiskt.

OT: Så är väl det bästa språket det man kan. Går nog att göra en crawler som notifierar dig på ett eller annat sätt i de flesta högnivåspråk.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av iXam:

Finns risk för att bli IP-bannad om man pullar för mycket och ofta.

Men om trådskaparen är sugen på att lära sig programmera så är ju denna övningen absolut en bra nybörjargrej, efter nån månad

Gå till inlägget

Just det, tänkte inte på IP-banning.. Men undviker man inte detta om man uppdaterar sidan med säg 15 min mellanrum? Eller åtminstone 10?

Sen så kan jag programmera (MATLAB, Python, Java samt lite HTML och C) men tänkte mer på vilket programmeringsspråk som passar mest i detta samband. Har läst en hel del om crawlers som folk gjort.och det verkar ju komma närmast det jag söker, men känns ändå som att jag missar något...

Visa signatur

12c/24t 4.0GHz (Zen2) • 2x16GiB 3200MHz C14 • RTX 2080 FE 1965MHz 7000MHz • X570 I PW • Ghost S1 MKII

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag har gjort nästan exakt detta i python, det går ganska lätt.

Visa signatur

Citera om du vill ha svar.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av muppens:

Jag har gjort nästan exakt detta i python, det går ganska lätt.

Gå till inlägget

Endast Python eller tillsammans med något annat språk? Vad gör ditt program?

Visa signatur

12c/24t 4.0GHz (Zen2) • 2x16GiB 3200MHz C14 • RTX 2080 FE 1965MHz 7000MHz • X570 I PW • Ghost S1 MKII

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Icte:

Endast Python eller tillsammans med något annat språk? Vad gör ditt program?

Gå till inlägget

Loggar in på hemsida, sparar cookie, gör sökning, analyserar det den får tillbaka och sparar i databas. Använder bland annat urllib, urllib2, cookielib, sqlite3, re.

Dvs det är ju inte för blocket direkt, men det är inte så svårt att hämta lite data från nätet om de inte försökt blockera det.

Visa signatur

Citera om du vill ha svar.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av muppens:

Jag har gjort nästan exakt detta i python, det går ganska lätt.

Gå till inlägget

Sugen på att dela koden på det? Antingen öppet eller i ett PM

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag ska anpassa koden lite först för detta fall, sen kan jag dela med mig av resultatet.

Visa signatur

Citera om du vill ha svar.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Använd Tor i din applikation. Jag byggde en applikation i PHP som använder ett callback ifrån en sökning ifrån Eniro, som tillåter dig att lista alla personer som finns på en angiven adress, och sedan exportera detta till CSV. Jag kan söka hur mycket jag vill, utan att bli blockerad, i och med att jag kör Tor:

		$this->ch = curl_init();
				curl_setopt($this->ch, CURLOPT_RETURNTRANSFER, 1);
				curl_setopt($this->ch, CURLOPT_FOLLOWLOCATION, true);
				curl_setopt($this->ch, CURLOPT_BINARYTRANSFER, $this->binary);
				curl_setopt($this->ch, CURLOPT_URL, $this->url);
				curl_setopt($this->ch, CURLOPT_PROXY, "127.0.0.1:9050"); //Tor
				curl_setopt($this->ch, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
				curl_setopt($this->ch, CURLOPT_VERBOSE, 0);
				$this->html = curl_exec($this->ch);
				curl_close($this->ch);
Visa signatur

http://ocnordic.com

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara