DomainDB behöver serverkraft!

Har en C++ variant som jag började på för några dagarsen. Kan fixa så den funkar mot den nya servern och lägga upp den om du vill

Väldigt trevlig spindel måste jag säga! Men du har inte lust att lägga till ett fält där man ser hur många domäner som spindeln har gått igenom under sin körning? Skulle vara intressant att veta bara...

 PRIMARY  	 PRIMARY  	 77235   	 Ändra   	 Radera   	 id
address 	INDEX 	38617  	Ändra 	Radera 	address
top 	INDEX 	168  	Ändra 	Radera 	top
title 	FULLTEXT 	1  	Ändra 	Radera 	title

Nu går det MYCKET fortare att spara. Nu tar det ungefär 10 sekunder, vilket inte är så farligt med tanke på att det är 2+2 operationer per addering (dvs 400 stycken) och att det är lite overhead att köra via internet.

Ditt spindelförändringsförslag låter jätteintressant, kan bli riktigt kul att se hur många domäner du får ihop 8-).

En sak som slog mig, du/vi skulle behöva hitta på något kreativt för idiotiska topleveldomäner. Jag tänker t.ex. på .nu där du nu får varje domän du försöker testa registrerad (t.ex http://www.jagfinnsinte.nu ).

En annan sak är redirects. Just nu så följer vi redirects. Om du söker på din sida efter "Slashdot" så dyker det upp en träff. Sidan i sig har inte titeln slashdot, utan den omdirigerar till slashdot.org, vilket då blir felaktigt om du frågar mig.

Dock går det inte utesluta alla redirects, tittar man på min tomma sida linuxpower.nu så görs det en redirect till en underkatalog.

Lite förbättringsförslag 8-).

//C

Vill du fortfarande ha fler bidragare? Har en eller två datorer (långsamma, 500mhz) jag inte använder.

Tyckte antalet domäner i databasen låg på runt 84.000 st tidigare idag, nu närmar det sig 100.000, det är ju en ganska bra ökning Eller var jag så trött att jag såg fel tidigare? Kan du på nåt sätt kolla hur många ip-adresser/personer som bidrar med data?

Herregud, det går riktigt fort nu!

Var fan 75k sist jag kollade och det var för 2 timmar sedan.

Kanske, jag tycker den presterar hyffsat, med tanke på att jag hämtar hem hela sidorna (onödigt när vi bara kollar title, men behövs ju när den ska moddas för att hitta nya sidor).

Just nu tycker jag min spindel hämtar/söker någonstans mellan 3-10 sidor per sekund. Det blir ungefär 12 000 addresser per timme (om man antar 7.5 sidor/sek). Du får väl prova den, den borde gå riktigt fort hos dig, som inte har så långt avstånd till databasen 8-).

Sedan gör ju ditt index underverk också, både för min spindel och php-klienterna (som i princip kör samma sql-kod).

Addering ner från två minuter till tio sekunder har positiva effekter 8-).

//C

EDIT: Får nog revidera ner mina siffror. När den inte hittar några sidor så går hastigheten ner rejält. Ett real-life test hemifrån visade att den knappt går igenom 1.3 sidor per sekund (cirka 5000 adresser i timmen).

Jeppe
Du har inte övervägt att spara metataggarna också och inte bara title?

Jeppe
Ja det brukar finnas lite mer beskrivning utav sidan i dessa taggar!
Men även om den är genererad av något programm, vem skaparen är osv.

En fråga, används userdomains eller är det uncheckeddomains som gäller?

Hmm.. "145591 domains in the database"... Går det inte lite läskigt snabbt nu? Måste jag ha SQL och PHP installerat för att köra det eller finns det något alternativ?

Prestanda är performance på svenska 8-).

Uppdelningen fungerar väl, men jag förstår inte vad status 2 (och ev. 1) har att göra i predomains-tabellen isf.

Som din största tredjepartsutvecklare (har inte sett något mer från C#-klienten) så hade jag föredragit ifall man hade kunnat anropa ditt "system" som webbtjänster istället (och nej, inte SOAP).

Jag är lite smått nervös över att du har en databas öppen på internet sådär 8-). Dessutom så blir prestandan lidande, då varje roundtrip (fråga och svar) tar några tiondelar av sekunder att utföra.

Det hade varit bättre ifall du hade något i stil med webbtjänster, en där man får ut en batch med domäner att söka, och en där man kan posta sina resultat till.

Om man gör det på det viset så behöver "man" (man som i spindelutvecklare) ändra på något bara för att du gör databasförändringar.

De två ytterligare tjänsterna jag kan tänka mig (du har ju redan två, en för versionskontroll och bufferstorlek) är getchunk.php som returnerar ett gäng domäner att testa (t.ex i formatet address;top med en rad per post) och sedan sendresponse.php som idag skulle ta en post med datat i (t.ex address;top;title;spidername).

Det skulle kanske förenkla för dig som php-utvecklare också, då man inte behöver ansluta till databasen då select, insert or update tar tid för klienterna där också.

Postningen av resultatet blir ju lite lurigare, men det finns säkert någon som gjort en POST i php förut.

Mina åsikter 8-)

//C

EDIT:

Neoecs: Det finns ett minst ett alternativ, min JSpindel.

Håller med! Det vore skönt att slippa att krånga med SQL och man slipper ändra databashanteringen i programmet varje gång du gör en ändrig på strukturen.

Har java spindeln samma funktioner som PHP versionen?

I stort sett så är det samma.

Den skiljer sig dock på några detaljer. Den sparar aldrig ner några lokala filer (mellanlagring) utan håller allt i minnet, men annars så är det samma regexp och databas som används.

//C

Jeppe
Borde du inte kunna låta alla som spindlar att regga sig för att på så sätt få en hash/sha1 utav någonting för att identifiera sig med både när man begär data, lägger till data och skickar status.

Jeppe
Nja att koppla det mot ett ip är nog inte så bra, eftersom inte alla sitter på ett fast IPnummer...

Du kanske kan ha någon nytta utav det här om du funderar på en sådan funktion: http://www.phpsidan.nu/res_articles.php?view=art&id=13

Trist med din disk! Tyvärr har jag inga 2.5" över till dig (har bara en, och det är i min fungerande laptop, så den vill jag gärna ha kvar 8-) ).

Att posta ett formulär är hur lätt som helst, så det är inga problem. Någon krash kommer det inte bli, men javascriptet ska ju köras någonstans, och då blir det värre. Hur som helst, alternativet är ju att implementera funktionaliteten i Java istället, vilket också är lätt, då det finns md5- och sha1-funktioner i basbiblioteket.

För att göra det enkelt för oss maskinavläsare så vore det bästa ifall det inte var någon HTML utan att du bara skickade challengen som ren text (som med ditt versionsnummer).

Så något i stil med detta:

//login.php

session_start();
$challenge = $_SESSION['nonce'];

if( !$challenge ) {
   $challenge = generateChallenge();
}

if( $_POST['hashpw'] ) {
   //Verifiera inloggningen enligt Freakies länk
  
   if( passwordOk ) {
         //Set user info in session
          echo "OK";
   } else {
          echo "PWFAIL";
   }
} else {
   echo $challenge;
}

Du förstår poängen, ingen html, bara ren lättolkad text 8-).

//C

Är snart klar med min C++ bot. Men ska jag lägga till att den följer redirects?

Svårbedömd fråga. Men om valen står mellan att följa alla redirects och inga så tror jag det är bättre att följa alla.

//C

jag hjälper till lite med

Det har kommit in mååånga nya dommäner på sistone.