DomainDB behöver serverkraft!

Permalänk
Medlem

Jag tog det ur luften, sedan sökte jag på det för att se om jag fick några träffar hehe... Fick 2! Sedan började den ju spindla min sökning.

Det går att köra flera spindlar simultant... Grejen är dock att du måste göra en separat mapp för varje spindel du vill köra... Annars fungerar inte systemet som det ska! Så en liten varning där alltså!

Köra flera spindlar samtidigt?
Skapa en mapp för varje spindel som du ska köra!

Visa signatur

/Jeppe

Permalänk
Medlem

Så... Nu rullar 4st spindlar på min server.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

v4 är alldeles snart klar! 30 minuter till typ!

Visa signatur

/Jeppe

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av nonajme
Hur många aktiva domäner finns det? Nån som har någon aning? Lär ju finnas lite att spindla

Här kommer en listen lista med TLDs:

ac Ascension Island ac.uk Education (UK) ad Andorra ae United Arab Emirates af Afghanistan ag Antigua and Barbuda ai Anguilla al Albania am Armenia an Netherlands Antilles ao Angola aq Antarctica ar Argentina as American Samoa at Austria au Australia aw Aruba az Azerbaijan ba Bosnia Hercegovina bb Barbados bd Bangladesh be Belgium bf Burkina Faso bg Bulgaria bh Bahrain bi Burundi bj Benin bm Bermuda bn Brunei Darussalam bo Bolivia br Brazil bs Bahamas bt Bhutan bv Bouvet Island bw Botswana by Belarus (Byelorussia) bz Belize ca Canada cc Cocos Islands (Keeling) cd Congo, Democratic Republic of the cf Central African Republic cg Congo, Republic of ch Switzerland ci Cote d'Ivoire (Ivory Coast) ck Cook Islands cl Chile cm Cameroon cn China co Colombia co.uk Commercial United Kingdom com Commercial cr Costa Rica cs Czechoslovakia cu Cuba cv Cap Verde cx Christmas Island cy Cyprus cz Czech Republic de Germany dj Djibouti dk Denmark dm Dominica do Dominican Republic dz Algeria ec Ecuador edu Educational Institution ee Estonia eg Egypt eh Western Sahara er Eritrea es Spain et Ethiopia fi Finland fj Fiji fk Falkland Islands fm Micronesia, Federal State of fo Faroe Islands fr France ga Gabon gd Grenada ge Georgia gf French Guiana gg Guernsey gh Ghana gi Gibraltar gl Greenland gm Gambia gn Guinea gov Government (US) gp Guadeloupe gq Equatorial Guinea gr Greece gs South Georgia and the South Sandwich Islands gt Guatemala gu Guam gw Guinea-Bissau gy Guyana hk Hong Kong hm Heard and McDonald Islands hn Honduras hr Croatia/Hrvatska ht Haiti hu Hungary id Indonesia ie Ireland il Israel im Isle of Man in India int Int. Organizations io British Indian Ocean Territory iq Iraq ir Iran, Islamic Republic of is Iceland it Italy je Jersey jm Jamaica jo Jordan jp Japan ke Kenya kg Kyrgyzstan kh Cambodia ki Kiribati km Comoros kn Saint Kitts and Nevis kp Korea, Democratic People's Republic kr Korea, Republic of kw Kuwait ky Cayman Islands kz Kazakhstan la Lao People's Democratic Republic lb Lebanon lc Saint Lucia li Liechtenstein lk Sri Lanka lr Liberia ls Lesotho lt Lithuania lu Luxembourg lv Latvia ly Libyan Arab Jamahiriya ma Morocco mc Monaco md Moldova, Republic of mg Madagascar mh Marshall Islands mil Military (US Dept of Defense) mk Macedonia, Former Yugoslav Republic ml Mali mm Myanmar mn Mongolia mo Macau mp Northern Mariana Islands mq Martinique mr Mauritani ms Montserrat mt Malta mu Mauritius mv Maldives mw Malawi mx Mexico my Malaysia mz Mozambique na Namibia nc New Caledonia ne Niger net networks nf Norfolk Island ng Nigeria ni Nicaragua nl Netherlands no Norway np Nepal nr Nauru nt Neutral Zone nu Niue nz New Zealand om Oman org Organization (non-profit) pa Panama pe Peru pf French Polynesia pg Papua New Guinea ph Philippines pk Pakistan pl Poland pm St. Pierre and Miquelon pn Pitcairn Island pr Puerto Rico ps Palestinian Territories pt Portugal pw Palau py Paraguay qa Qatar re Reunion Island ro Romania ru Russian Federation rw Rwanda sa Saudi Arabia sb Solomon Islands sc Seychelles sd Sudan se Sweden sg Singapore sh St. Helena si Slovenia sj Svalbard and Jan Mayen Islands sk Slovak Republic sl Sierra Leone sm San Marino sn Senegal so Somalia sr Suriname sv El Salvador st Sao Tome and Principe sy Syrian Arab Republic sz Swaziland tc Turks and Caicos Islands td Chad tf French Southern Territories tg Togo th Thailand tj Tajikistan tk Tokelau tm Turkmenistan tn Tunisia to Tonga tp East Timor tr Turkey tt Trinidad and Tobago tv Tuvalu tw Taiwan tz Tanzania ua Ukraine ug Uganda uk United Kingdom um US Minor Outlying Islands us United States uy Uruguay uz Uzbekistan va Holy See (City Vatican State) vc Saint Vincent and the Grenadines ve Venezuela vg Virgin Islands (British) vi Virgin Islands (USA) vn Vietnam vu Vanuatu wf Wallis and Futuna Islands ws Western Samoa ye Yemen yt Mayotte yu Yugoslavia za South Africa zm Zambia zw Zimbabwe

Och de "nya":

aero Air-transport industry biz Businesses coop Cooperatives info Unrestricted use museum Museums name Individuals pro Accountants, lawyers, and physicians travel Travel related businesses

Edit: wtf, .eu var inte med i den listan...

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

Tycker ni jag ska lägga till så att spindeln söker igenom alla dom där topdomänerna? :/...

Visa signatur

/Jeppe

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Sirjeppe
Tycker ni jag ska lägga till så att spindeln söker igenom alla dom där topdomänerna? :/...

Självklart, nu ska alla domäner som existerar indexeras

Visa signatur

// NonajmE

Permalänk
Medlem

Jeppe, om du gör så att när man spindlar så samlar man även in fler adresser så ska du se att om man håller på tillräckligt länge så kommer en stor del att fastna i din databas.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

Gött!! :)... Bra inställning! Har du lust får du jättegärna sätta alla i följ, separerade med komma och inom "" så jag bara kan klistra in dom i array()-funktionen för topdomänerna

Ex.: "se","dk","no" ... osv.

Visa signatur

/Jeppe

Permalänk
Medlem

jeppe, vill du ha dem i stigande eller fallande ordning?

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

Har ingen som helst betydelse... Alla ska ju ändå sökas igenom!

Om du orkar kan du ju försöka optimera raden så att de vanligaste hamnar först och därmed söks igenom först! Typ .com .net osv..

Visa signatur

/Jeppe

Permalänk
Medlem

Du kan få första versionen snart... sedan så kan det nog ta lite tid att optimera... fan jag som precis hade satt på en film jue! ;D

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

Hahaha, ja, men det är ju inte precis bråttom så... Ta den tid du behöver och kolla klart på filmen först åtminstone!

Visa signatur

/Jeppe

Permalänk
Medlem
Citat:

63000 domains in the database

när jag såg det kom jag å tänka på att det skulle vara roligt å se en graf på hur mycket det ändrades varje dygn grafer är alltid roligt att kolla på till sånna här sidor.

Visa signatur

// NonajmE

Permalänk
Medlem

"com","org","gov","edu","co.uk","net","mil","eu","info","se","us","aero","biz","coop","museum","name","pro","travel","ac","ac.uk","ad","ae","af","ag","ai","al","am","an","ao","aq","ar","as","at","au","aw","az","ba","bb","bd","be","bf","bg","bh","bi","bj","bm","bn","bo","br","bs","bt","bv","bw","by","bz","ca","cc","cd","cf","cg","ch","ci","ck","cl","cm","cn","co","cr","cs","cu","cv","cx","cy","cz","de","dj","dk","dm","do","dz","ec","ee","eg","eh","er","es","et","fi","fj","fk","fm","fo","fr","ga","gd","ge","gf","gg","gh","gi","gl","gm","gn","gp","gq","gr","gs","gt","gu","gw","gy","hk","hm","hn","hr","ht","hu","id","ie","il","im","in","int","io","iq","ir","is","it","je","jm","jo","jp","ke","kg","kh","ki","km","kn","kp","kr","kw","ky","kz","la","lb","lc","li","lk","lr","ls","lt","lu","lv","ly","ma","mc","md","mg","mh","mk","ml","mm","mn","mo","mp","mq","mr","ms","mt","mu","mv","mw","mx","my","mz","na","nc","ne","nf","ng","ni","nl","no","np","nr","nt","nu","nz","om","pa","pe","pf","pg","ph","pk","pl","pm","pn","pr","ps","pt","pw","py","qa","re","ro","ru","rw","sa","sb","sc","sd","sg","sh","si","sj","sk","sl","sm","sn","so","sr","sv","st","sy","sz","tc","td","tf","tg","th","tj","tk","tm","tn","to","tp","tr","tt","tv","tw","tz","ua","ug","uk","um","uy","uz","va","vc","ve","vg","vi","vn","vu","wf","ws","ye","yt","yu","za","zm","zw"

Lite optimerad iaf...

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

Sorry!... Nu råkade jag paja spindeln... v4.2 finns att ladda hem här:

http://domaindb.mine.nu/domaindb/spindel/spindel-v4.2.phps

Tack och förlåt!

Visa signatur

/Jeppe

Permalänk
Medlem

Får detta fel när jag försöker söka:

Parse error: parse error, unexpected ',' in R:\Hemsidor\domaindb\topdomains.php on line 3

Permalänk
Medlem

Det ser bra ut.

Btw, du har inte lust att skapa en liten sida där man kan mata in en stor lista domäner som landar i databasen som ska kollas?
Isf så skulle jag kunna dunka in ett par domäner där inatt, lär inte gå och lägga mig än på ett par timmar...
Om du inte vill ha den public så kan du ju skicka en länk i pm.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

Fixat nu! Jäklar vad mycket domäner det blir att söka igenom nu hahahaha! HELT SJUKT! 263 domäner för VARJE sökord... hmm, overkill?

Freakie... Jag orkar inte göra det nu... skola imorrn. Men det låter hur som helst som en bra funktion!

Annars kan du ju sitta och skriva in sökord bara haha! Gör ett eget script vettja... Jag använder ju GET för att söka så... Det är ju bara att köra hårt!

[edit]Nu går jag och lägger mig! God natt![/edit]

Visa signatur

/Jeppe

Permalänk
Medlem

Håller för tillfället på med en liten sak som kanske kan hjälpa till att skapa en massa fler domäner att besöka... Dock så går det lite segt eftersom jag med stapplande steg försöker lära mig php igen...

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

Använder du en ordbok eller tar du alla tänkbara bokstavskombinationer? Kan nog vara bra att gå igenom en ordbok först för det ger nog bättre träffresultat än slumpade ord. Sen personnamn mm.

Visa signatur

Sverige är ett så litet land att det bara får plats en åsikt i taget där.

Permalänk
Medlem

Som det är nu går jag igenom alla tänkbara bokstavskombinationer... Om du inte läst hela tråden här på forumet så har det även kommit på förslag att leta igenom varje sida efter nya domäner och ladda in dom, osv... Det ger ju ännu bättre träffar, eftersom det är sidor som faktiskt används!

Visa signatur

/Jeppe

Permalänk
Medlem

Lite småseg databas känns det som
Vad är det för server och mysql version? Hur har du indexerat tabellerna?

Annars häftigt.. ska nog dra igång en spindel hemma med..

Permalänk
Medlem

jeppe, när du testar en massa kombinationer, använder du nummer också?
Näe nu ska jag ta och sova...

Btw, har du mixtrat med spindeln nyss? drog igång den och då bytte den namn från spindel-v4.2.php till spindel-.php...

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Freakie
jeppe, när du testar en massa kombinationer, använder du nummer också?
Näe nu ska jag ta och sova...

Btw, har du mixtrat med spindeln nyss? drog igång den och då bytte den namn från spindel-v4.2.php till spindel-.php...

Du kanske borde sova på natten istället för dagen eller?

Angående att spindla, tar det mycket system resurser som internet, minne, cpu mm.?
Min gamla server kanske får det lite jobbigt om det gör det

MVH

Visa signatur

Citera för att vara säker på svar!

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Blubben
Du kanske borde sova på natten istället för dagen eller?

Angående att spindla, tar det mycket system resurser som internet, minne, cpu mm.?
Min gamla server kanske får det lite jobbigt om det gör det

MVH

Jobbar man natt så är det lätt att fortsätta att hålla den dygnsrytmen även när man inte jobbar!

Jag har inte märkt att det skulle vara något riktigt tungt arbete som den utför... Men det är ju bara att testa och se, om det är för tungt så är det ju bara att plocka bort scriptet och tycka synd om sin server.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Permalänk
Medlem

MaDa... MySQL 5.0.19-nt är det som rullar... Tabellen som du söker i är indexerade med FULLTEXT för titelcellen...

Freakie... Det där är en bugg som jag inte har lyckats lösa :/... Vette huun varför den gör så faktiskt! Den ska ju inte uppdatera spindeln så länge det är samma version som den senaste på servern så... Hittar du en lösning på problemet så meddela mig mer än gärna!

Spindeln drar mest CPU... Väldigt lite trafik och minnesanvändningen har jag ingen uppfattning av, men det är nog ingen större mängd.

Nu är min dator uppe och springer igen... Blir så less att den hänger sig hela tiden! GRRRRRR!

Visa signatur

/Jeppe

Permalänk
Medlem

Nu har mina spindlar fått fnatt verkar det som, alla var omdöpta. Ska se om jag kan lägga in dem på nytt. Kör 3 spindlar btw, ska se om jag kan dra igång några fler.

Permalänk
Medlem

Har precis hittat en fetingbugg i v4.2 som förhindrar att domänerna man hittat lades in i databasen.. en v4.21 är på väg!

Visa signatur

/Jeppe

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Sirjeppe
Har precis hittat en fetingbugg i v4.2 som förhindrar att domänerna man hittat lades in i databasen.. en v4.21 är på väg!

Nu fungerar uppdateringen fint för mig. Jag kör 10 spindlar för tillfället.

Permalänk
Medlem

Hehe... Då kollar du 1000 domäner nudå! 100 för varje spindel buffrar den!

Kör alla v4.23 nu?

Om inte... Uppdatera nu! Tack! Annars blir min dator nedslöad som bara attan!

Visa signatur

/Jeppe