DomainDB behöver serverkraft!

Hej!

Tänkte höra ifall det är någon som vill vara med på projektet DomainDB samt skänka lite av sin datorkraft? Antingen med hjälp av en Java-applet eller med hjälp av ett PHP script (kräver egen webserver). Båda finns att ladda hem från SDC (länk längst ner i inlägget).

I nuläget finns en webbaserad spindel (som det är tänkt att ni kör på eran server för att hämta in domäner) vilket innebär att ni måste ha en webbläsare igång hela tiden när spindeln ska köras - ber om ursäkt för detta) och sedan finns en Java-spindel. Skulle vara gött med en spindel i c# eller c++

DomainDB är en sökmotor som bara är inriktad på domäner (som namnet avslöjar) och som inte läser in information från sidan utan bara helt enkelt läser av <title>-tagen på förstasidan och sparar den informationen i en databas som sedan går att söka i. Den letar inte heller djupare än på första sidan.

Ställ frågor om ni undrar något. Skulle bli hur glad som helst om bara EN person ville hjälpa till!

//Jeppe

Adressen till DomainDB: http://domaindb.mine.nu
Adressen till SDC: http://domaindb.mine.nu/sdc

Gött!

Gör såhär:

* Ladda hem den här filen: http://domaindb.mine.nu/domaindb/spindel/spindel-v3.4.phps och döp om den till .php istället

*Kör igång scriptet bara på din dator...

Det kan hända att den slutar att fungera ibland - finns lite buggar... Men när jag släpper en ny version på servern så laddas den hem och installeras automatiskt om allt går som det ska så... det ska du inte behöva bry dig om! Men som sagt... Ibland stannar den - kanske för att min server hänger sig osv... och då måste du sätta igång den igen manuellt tyvärr :/

KUL att du vill hjälpa till

[edit]Vore gött om du ville adda mig på msn eller nåt... Lite lättare att hålla kontakten så! sirjeppe@gmail.com[/edit]

Madoor... Jag tror jag har förhindrat det Visserligen kan dom rensa en viss tabell, men inget vitalt för att sidan ska kunna funka...

[edit]HAHAHAA... det var redan någon som lyckats (eller ja... den hade kraschat)... kan det vara du? [/edit]

Nä, den brukar krascha när datorn hänger sig :/ så... Vette fan varför min dator är så instabil... Körde memtest i typ 30 minuter i morse men inga error.. Microsoft Windows XP säger jag bara...

Oj!... Konstigt... Berätta mer! Adda mig gärna på msn så är det lättare att prata!

Hahaha!... Män, vilken hjälp jag får!

mjo :/... har försökt stoppa in filter mot sånt... Har ett manuellt filter också som går att köra på DomainDB med hjälp av kommandot: "|filter|" i sökfältet! Rensar bort rätt mycket sånt där skit, men långt ifrån allt

Härlisch :)...

Som sagt är min dator väldigt instabil och kan hänga sig när som helst... Vilket innebär att ni måste starta era spindlar igen! :(... Kommer ni på ett sätt att kringgå detta... Meddela mig!

[edit]Vi letar just nu igenom ca 5 domäner på 2 sek
~2395000 domäner kvar innan det är dags att rendera flera![/edit]

Har fått bra input från TheGoodOne som tyckte att det skulle vara schysst att leta igenom domänerna efter länkar till andra domäner och på så sätt få in nya sidor att crawla... Ska försöka implementera det till v4 av spindeln.

XarpH - I'm on it!

Paging har jag dock inte tid att fixa nu! :(... Men söka tomt fixar jag på en gång!

Ni som kör... Har ni blivit automatiskt uppgraderade till v3.5?

MixDisk... Undrar varför det inte funkade för dig då... :/... hmm... Fick du något felmeddelande?