DomainDB behöver serverkraft!

På ett dygn har det lagts till ~100k nya domäner.

conio: Kan du släppa källkoden till spindeln du har gjort i Java?

btw, funderar på att lära mig ett nytt språk. Kan bara PHP.. Vill lära mig lite mer objekt orienterad programmering, är Java ett bra val då?

Tja, Om någon hjälper mig få igång phppå min server så kan jag också va med 24/7.
Kör apache 2.ngt

FarmoR: vad kör du för OS då? *BSD? Linux? eller windows?

windows xp

Men jag testar med den där javaspindeln istället.

Sirjeppe: När du la in nya domäner för sökning, la du även in gamla domäner? Jag har hittat ett gäng domäner (tusentals) men räknaren på sidan har inte rört sig.

//C

Hmm, ganska lustigt att min domän, tracktor.nu inte finns med. Men tracktor.se .net och .com finns.

OffTopic:
Ruskigt irriterande med sånna där domänuppköpare. När jag reggade trackor.nu så var ingen annan topdomän köpt. Funderade ett tag på om jag skulle "säkra" .com och .se också men gjorde aldrig det, ångrar mig nu. Hoppas bara dom släpper domänerna innan jag släpper V1 av min sida...

Ny version av JSpindel släppt som har både hastighetsförbättringar och dessutom fixar ett trådfall där en arbetstråd kunde bli hängande (hade inte satt connection timeout korrekt).

Det är bara att starta om klienten (Java Web Start uppgraderar appen av sig själv)

Sirjeppe: Min klient sparar ingenting. Klickar du på stopp eller försöker stänga applikationen så avslutas den inte förän en hel batch har blivit färdigarbetad.

//C

Jeppe
Kan väll komma med den här infon till SDC:

Quick stats:

Unchecked domains:
Access denied for user 'domaindb'@'localhost' to database 'uncheckeddomains'

Checked domains:
Access denied for user 'domaindb'@'localhost' to database 'checkeddomains'

Btw, vem eller vilka har erbjudigt sig att hosta?

Jeppe
Ok, så du vill helt enkelt räkna raderna i tabellen uncheckeddomains eller?

Okay! Kul att du har fått fart på ditt projekt!

GRATTIS!!

Nu finns det en kvarts miljon domäner i databasen 8-).

Måste du använda det där mysql-specifika kommandot då? Räcker det inte bra med en select count(*) from uncheckeddomains osv?

//C

Jeppe
Hur stor plats tar databasen upp på din disk?

Måste bara säga att JSpindel är grymt snabb!

Jag kommer hålla koll på den ölen och hålla dig skyldig nästa gång jag har vägarna förbi Pite 8-).

//C

Imorgon tänkte jag börja med länkdetection i JSpindel så vi får in friskt blod i vår databas 8-).

//C

EDIT: Jag är också rejält sugen på att få en webbtjänst för att främst spara resultat, kanske en fjärdedel av tiden för varje batch går åt till att spara resultatet.

Jo men det går ju inte långsamt för mig på grund av att din databas är slö. Det tar tid på grund av att jag har långt mellan spindeln och databasen (dvs internet jämfört med lan för din del). Hade jag bara fått göra ett anrop (en HTTP POST) istället för 200 selects, 200 inserts eller updates och hämtande av svar för varje så hade det varit toppen.

När det är på plats så kommer min spindel verkligen få upp farten 8-)

//C

Jag skulle också vilja se en webbservice för att spara resultat, håller med conio om att det skulle snabba upp det hela ganska regält!

Btw, jeppe, har du koll på varför det blir som det blir när man söker på "hardcoded.se" i sökrutan?
21 st resultat som alla verkar lite skumma.

Jeppe,
Jag har ju faktiskt även hardcoded.se i title både på hardcoded.se och posera.nu...
Allt ska väll testas så till den milda grad?

Sök på tracktor så kommer det en hel del andra konstiga resultat...