Forum Mjukvara Programmering och digitalt skapande Tråd Inlägg

DomainDB behöver serverkraft!

4 5 6 7 8 9 10 11
Skriv svar
Permalänk
Medlem
●

På ett dygn har det lagts till ~100k nya domäner.

Visa signatur

iPhone

Redigera
Citera flera Citera
Permalänk
Medlem
●

Japp!

Det är tack vare conios Javabaserade spindel som förmodligen har bättre funktioner för att göra det som ska göras... Ska bli väldigt intressant att se hur c#-versionen presterar i jämförelse!

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

conio: Kan du släppa källkoden till spindeln du har gjort i Java?

btw, funderar på att lära mig ett nytt språk. Kan bara PHP.. Vill lära mig lite mer objekt orienterad programmering, är Java ett bra val då?

Visa signatur

iPhone

Redigera
Citera flera Citera
Permalänk
Medlem
●

Någon som är duktig på MySQL?

Kolla SDC:
http://domaindb.mine.nu/domaindb/sdc/

Varför får jag access denied när jag försöker med detta:
$sql = mysql_query("SHOW TABLE STATUS FROM uncheckeddomains") or print(mysql_error());

??

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Tja, Om någon hjälper mig få igång phppå min server så kan jag också va med 24/7.
Kör apache 2.ngt

Visa signatur

Inte kasta bäver i trähus!

Redigera
Citera flera Citera
Permalänk
Medlem
●

FarmoR: vad kör du för OS då? *BSD? Linux? eller windows?

Visa signatur

fooBlog
lighttpd
MPlayer FFmpeg

Redigera
Citera flera Citera
Permalänk
Medlem
●

Conio... Fan vad snygg din spindel var också då!... Har inte kollat den förrän nu! :O... Gött som satan! Hehehe... Keep up the good work! Skulle vara cool om du kunde få till så den kravlar domänerna efter domäner också så är vi ett steg närmare "Hunter"

Fråga: Vad händer med de domäner som man hämtat när man stänger ner spindeln? Startar den upp från samma ställe då?

//Jeppe

Senast redigerat
Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av spaam
FarmoR: vad kör du för OS då? *BSD? Linux? eller windows?

windows xp

Men jag testar med den där javaspindeln istället.

Visa signatur

Inte kasta bäver i trähus!

Redigera
Citera flera Citera
Permalänk
Medlem
●

Sirjeppe: När du la in nya domäner för sökning, la du även in gamla domäner? Jag har hittat ett gäng domäner (tusentals) men räknaren på sidan har inte rört sig.

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

hmm... mycket möjligt.. :/ fast den borde ha fortsatt där den slutade eller hur man ska säga... den borde bara ha fortsatt på sista domänen och fortsatt rendera nya domäner utifrån den...

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hmm, ganska lustigt att min domän, tracktor.nu inte finns med. Men tracktor.se .net och .com finns.

OffTopic:
Ruskigt irriterande med sånna där domänuppköpare. När jag reggade trackor.nu så var ingen annan topdomän köpt. Funderade ett tag på om jag skulle "säkra" .com och .se också men gjorde aldrig det, ångrar mig nu. Hoppas bara dom släpper domänerna innan jag släpper V1 av min sida...

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ny version av JSpindel släppt som har både hastighetsförbättringar och dessutom fixar ett trådfall där en arbetstråd kunde bli hängande (hade inte satt connection timeout korrekt).

Det är bara att starta om klienten (Java Web Start uppgraderar appen av sig själv)

Sirjeppe: Min klient sparar ingenting. Klickar du på stopp eller försöker stänga applikationen så avslutas den inte förän en hel batch har blivit färdigarbetad.

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ah, kanon! :D...

Någon som vill hjälpa till med SDC? Kom med förslag på vad som bör finnas där osv så kan vi få till det här riktigt bra :)... Blir mer och mer peppad!

Har även blivit erbjuden att få DomainDB hostad på en "riktig" webserver... Ska bli gött att slippa ha den på någon av mina workstations.

//Jeppe

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe
Kan väll komma med den här infon till SDC:

Quick stats:

Unchecked domains:
Access denied for user 'domaindb'@'localhost' to database 'uncheckeddomains'

Checked domains:
Access denied for user 'domaindb'@'localhost' to database 'checkeddomains'

Btw, vem eller vilka har erbjudigt sig att hosta?

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Freakie... jag vet om det där, men inte lösningen... Frågade efter lösningen lite tidigare idag här i tråden, men ingen har svarat :/ Verkar som man behöver andra rättigheter än till bara databasen man ska köra queryn på eller nåt... Kör jag en vanlig: SELECT * FROM uncheckeddomains för att räkna raderna i tabellen så är jag välkommen, men inte med SHOW TABLE STATUS-kommandot :/...

OOPs!... Såg nu att den försöker hitta en databas som heter uncheckeddomains osv... :P... kan nog fixa det själv kanske!

Det är David (vet ej vad han heter här) på vs-hs.com som erbjudit sig att hjälpa till med serverkraft till "The DomainDB Initiative", som conio kallar det hehe.. (Tyckte det lät snyggt hehe...)

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

250004 domains in the database!!!
- En kvarts miljon domäner i databasen nu! Grattis!

Visa signatur

Vill ni ha svar från mig underlättar det enormt om ni citerar mig.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe
Ok, så du vill helt enkelt räkna raderna i tabellen uncheckeddomains eller?

Okay! Kul att du har fått fart på ditt projekt!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

GRATTIS!!

Nu finns det en kvarts miljon domäner i databasen 8-).

Citat:

Ursprungligen inskrivet av Sirjeppe
Kör jag en vanlig: SELECT * FROM uncheckeddomains för att räkna raderna i tabellen så är jag välkommen, men inte med SHOW TABLE STATUS-kommandot :/

Måste du använda det där mysql-specifika kommandot då? Räcker det inte bra med en select count(*) from uncheckeddomains osv?

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

OJJE.... WEEEEEEE :D... mäktigt!

Det måste vi fira... Det är tack vare conio faktiskt... hmm... jag bjuder honom på en öl!!

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe
Hur stor plats tar databasen upp på din disk?

Måste bara säga att JSpindel är grymt snabb!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Sirjeppe
OJJE.... WEEEEEEE :D... mäktigt!

Det måste vi fira... Det är tack vare conio faktiskt... hmm... jag bjuder honom på en öl!!

Jag kommer hålla koll på den ölen och hålla dig skyldig nästa gång jag har vägarna förbi Pite 8-).

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

Just nu tar den upp ca 240MB

Senast redigerat
Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Imorgon tänkte jag börja med länkdetection i JSpindel så vi får in friskt blod i vår databas 8-).

//C

EDIT: Jag är också rejält sugen på att få en webbtjänst för att främst spara resultat, kanske en fjärdedel av tiden för varje batch går åt till att spara resultatet.

Redigera
Citera flera Citera
Permalänk
Medlem
●

conio... för mig gick det tokfort att spara resultatet när jag prövade din spindel!...

du kan pröva att använda insert delayed också!

http://dev.mysql.com/doc/refman/5.0/en/insert-delayed.html

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Sirjeppe
conio... för mig gick det tokfort att spara resultatet när jag prövade din spindel!...

du kan pröva att använda insert delayed också!

http://dev.mysql.com/doc/refman/5.0/en/insert-delayed.html

Jo men det går ju inte långsamt för mig på grund av att din databas är slö. Det tar tid på grund av att jag har långt mellan spindeln och databasen (dvs internet jämfört med lan för din del). Hade jag bara fått göra ett anrop (en HTTP POST) istället för 200 selects, 200 inserts eller updates och hämtande av svar för varje så hade det varit toppen.

När det är på plats så kommer min spindel verkligen få upp farten 8-)

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag skulle också vilja se en webbservice för att spara resultat, håller med conio om att det skulle snabba upp det hela ganska regält!

Btw, jeppe, har du koll på varför det blir som det blir när man söker på "hardcoded.se" i sökrutan?
21 st resultat som alla verkar lite skumma.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ja, varför dom där kommer upp vet jag inte, när man klickar på dom kommer man ju till en sidan kan inte visas... :/... Men söker du på hardcoded.se vet du ju redan adressen till sidan - så varför söka!?

Webservicen för att spara resultaten kommer så småningom, har inte riktigt tid att göra den nu - så om någon känner sig manad är det fritt fram att göra den!

//Jeppe

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe,
Jag har ju faktiskt även hardcoded.se i title både på hardcoded.se och posera.nu...
Allt ska väll testas så till den milda grad?

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Sök på tracktor så kommer det en hel del andra konstiga resultat...

Redigera
Citera flera Citera
Permalänk
Medlem
●

Tycker det luktar som en bugg i JSpindel!...

Conio, kan det vara så att din spindel lägger in alla domäner som den inte hittat någon titel på med den senast hittade titeln istället för att strunta i att lägga in dom?

PS. Sök på "mina bilder" så får ni över 2500 träffar :/.. haha... något är jätteskumt!

//Jeppe

Visa signatur

/Jeppe

Redigera
Citera flera Citera
4 5 6 7 8 9 10 11
Skriv svar