Forum Mjukvara Programmering och digitalt skapande Tråd

DomainDB behöver serverkraft!

1 2 3 4 5 6 7 8
Skriv svar
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av mixdisk
Nu fungerar uppdateringen fint för mig. Jag kör 10 spindlar för tillfället.

Drog igång 10 spindlar nu jag också

EDIT: buggar lite för mig, några av spidlarna buggar ur när den försöker uppdatera. fast det är nyaste versionen.

Visa signatur

// NonajmE

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ni har gjort en mapp för varje spindel va? (Dubbelcheck)

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hehe, satte igång 20 spindlar nu!

Hm, verkar vara en bugg. Den sökar igenom "http://www..." ibland.

Visa signatur

iPhone

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Sirjeppe
Ni har gjort en mapp för varje spindel va? (Dubbelcheck)

Jepp, det har jag gjort. men sen försöker den uppdatera. Så blir det inget bra :S

Citat:

http://******/~****/spindel/1/spindel-.php

EDIT: Inaktiverade uppdateringsfunktionen för att testa och nu rullar det på utan problem. Så det är något med det som inte riktigt fungerar som det ska.

Senast redigerat
Visa signatur

// NonajmE

Redigera
Citera flera Citera
Permalänk
Medlem
●

XarpH... jo, det blir så i slutet av någon anledning... Inget att oroa sig för dock! Men kanske lite störigt...

Ni är hjärtligt ihjälkomna (ska ni våras) att hjälpa mig med utvecklingen! Hittar ni ett fel så får ni jättegärna kolla i koden och försöka lirka ut vad det är som inte funkar som det ska!

T.ex. det där med uppdateringen... har ju satt att uppdateringen bara ska checkas om ett värde är mindre än ett annat, men den verkar checka det ändå osv... :/ Lurigt!

Förmodligen har jag blivit blind av allt mitt kodande och det är säkert något jätteenkelt som blir fel.

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Riktigt bra jobb detta, vad har du tänkt använda detta till? Sälja till M$?

Visa signatur

Neun und neunsich.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av C22H28N2O
Riktigt bra jobb detta, vad har du tänkt använda detta till? Sälja till M$?

Google och MS fixar sånt här på nolltid på egen hand...

Men det är en fin idé!

Men syftet med denna sökmotorn är inte att vara bättre än t.ex. Google, bara skoj enligt Sirjeppe.

Visa signatur

iPhone

Redigera
Citera flera Citera
Permalänk
Medlem
●

morron jeppe.
Nu ser det ut att fungera fin fint! Iaf på mina 4 spindlar!:)

Sedan när du ska börja leta url's innuti sidor du besöker så kan du ju kolla på koden för den här spindeln: http://www.php-development.ru/php-scripts/search-engine.php

När den spindlar http://directory.google.com så får den fram det här:

Citat:

Site Index
Root location: http://directory.google.com/
Execution time: 53.06 secs
URLs parsed: 127
URLs extracted: 128
Internal Webpages
Google Directory
http://directory.google.com/
Google Directory - Arts
http://directory.google.com/Top/Arts/
Google Directory - Arts > Animation
http://directory.google.com/Top/Arts/Animation/
Google Directory - Arts > Architecture
http://directory.google.com/Top/Arts/Architecture/
Google Directory - Arts > Art History
http://directory.google.com/Top/Arts/Art_History/
Google Directory - Arts > Awards
http://directory.google.com/Top/Arts/Awards/
Google Directory - Arts > Bodyart
http://directory.google.com/Top/Arts/Bodyart/
Google Directory - Arts > Chats and Forums
http://directory.google.com/Top/Arts/Chats_and_Forums/
Google Directory - Arts > Classical Studies
http://directory.google.com/Top/Arts/Classical_Studies/
Google Directory - Arts > Comics
http://directory.google.com/Top/Arts/Comics/
Google Directory - Arts > Costumes
http://directory.google.com/Top/Arts/Costumes/
Google Directory - Arts > Crafts
http://directory.google.com/Top/Arts/Crafts/
Google Directory - Arts > Cultures and Groups
http://directory.google.com/Top/Arts/Cultures_and_Groups/
Google Directory - Arts > Design
http://directory.google.com/Top/Arts/Design/
Google Directory - Arts > Digital
http://directory.google.com/Top/Arts/Digital/
Google Directory - Arts > Directories
http://directory.google.com/Top/Arts/Directories/
Google Directory - Arts > Education
http://directory.google.com/Top/Arts/Education/
Google Directory - Arts > Entertainment
http://directory.google.com/Top/Arts/Entertainment/
Google Directory - Arts > Events
http://directory.google.com/Top/Arts/Events/
Google Directory - Arts > Genres
http://directory.google.com/Top/Arts/Genres/
Google Directory - Arts > Graphic Design
http://directory.google.com/Top/Arts/Graphic_Design/
Google Directory - Arts > Graphic Design > Typography
http://directory.google.com/Top/Arts/Graphic_Design/Typograph...
Google Directory - Arts > Humanities
http://directory.google.com/Top/Arts/Humanities/
Google Directory - Arts > Illustration
http://directory.google.com/Top/Arts/Illustration/
Google Directory - Arts > Literature
http://directory.google.com/Top/Arts/Literature/
Google Directory - Arts > Literature > Myths and Folktales
http://directory.google.com/Top/Arts/Literature/Myths_and_Fol...
Google Directory - Arts > Magazines and E-zines
http://directory.google.com/Top/Arts/Magazines_and_E-zines/
Google Directory - Arts > Movies
http://directory.google.com/Top/Arts/Movies/
Google Directory - Arts > Music
http://directory.google.com/Top/Arts/Music/
Google Directory - Arts > News and Media
http://directory.google.com/Top/Arts/News_and_Media/
Google Directory - Arts > Online Writing
http://directory.google.com/Top/Arts/Online_Writing/
Google Directory - Arts > Organizations
http://directory.google.com/Top/Arts/Organizations/
Google Directory - Arts > People
http://directory.google.com/Top/Arts/People/
Google Directory - Arts > Performing Arts
http://directory.google.com/Top/Arts/Performing_Arts/
Google Directory - Arts > Performing Arts > Dance
http://directory.google.com/Top/Arts/Performing_Arts/Dance/
Google Directory - Arts > Performing Arts > Theatre
http://directory.google.com/Top/Arts/Performing_Arts/Theatre/
Google Directory - Arts > Periods and Movements
http://directory.google.com/Top/Arts/Periods_and_Movements/
Google Directory - Arts > Photography
http://directory.google.com/Top/Arts/Photography/
Google Directory - Arts > Radio
http://directory.google.com/Top/Arts/Radio/
Google Directory - Arts > Regional
http://directory.google.com/Top/Arts/Regional/
Google Directory - Arts > Television
http://directory.google.com/Top/Arts/Television/
Google Directory - Arts > Video
http://directory.google.com/Top/Arts/Video/
Google Directory - Arts > Visual Arts
http://directory.google.com/Top/Arts/Visual_Arts/
Google Directory - Arts > Visual Arts > Native and Tribal
http://directory.google.com/Top/Arts/Visual_Arts/Native_and_T...
Google Directory - Business
http://directory.google.com/Top/Business/
Google Directory - Business > Employment
http://directory.google.com/Top/Business/Employment/
Google Directory - Business > Financial Services
http://directory.google.com/Top/Business/Financial_Services/
Google Directory - Business > Major Companies
http://directory.google.com/Top/Business/Major_Companies/
Google Directory - Business > Publishing and Printing > Publishing > Books > Arts
http://directory.google.com/Top/Business/Publishing_and_Print...
Google Directory - Computers
http://directory.google.com/Top/Computers/
Google Directory - Computers > Hardware
http://directory.google.com/Top/Computers/Hardware/
Google Directory - Computers > Internet
http://directory.google.com/Top/Computers/Internet/
Google Directory - Computers > Software
http://directory.google.com/Top/Computers/Software/
Google Directory - Games
http://directory.google.com/Top/Games/
Google Directory - Games > Board Games
http://directory.google.com/Top/Games/Board_Games/
Google Directory - Games > Roleplaying
http://directory.google.com/Top/Games/Roleplaying/
Google Directory - Games > Video Games
http://directory.google.com/Top/Games/Video_Games/
Google Directory - Health
http://directory.google.com/Top/Health/
Google Directory - Health > Alternative
http://directory.google.com/Top/Health/Alternative/
Google Directory - Health > Fitness
http://directory.google.com/Top/Health/Fitness/
Google Directory - Health > Medicine
http://directory.google.com/Top/Health/Medicine/
Google Directory - Home
http://directory.google.com/Top/Home/
Google Directory - Home > Consumer Information
http://directory.google.com/Top/Home/Consumer_Information/
Google Directory - Home > Family
http://directory.google.com/Top/Home/Family/
Google Directory - Home > Homeowners
http://directory.google.com/Top/Home/Homeowners/
Google Directory - Kids and Teens
http://directory.google.com/Top/Kids_and_Teens/
Google Directory - Kids and Teens > Computers
http://directory.google.com/Top/Kids_and_Teens/Computers/
Google Directory - Kids and Teens > Entertainment
http://directory.google.com/Top/Kids_and_Teens/Entertainment/
Google Directory - Kids and Teens > School Time
http://directory.google.com/Top/Kids_and_Teens/School_Time/
Google Directory - News
http://directory.google.com/Top/News/
Google Directory - News > Current Events
http://directory.google.com/Top/News/Current_Events/
Google Directory - News > Media
http://directory.google.com/Top/News/Media/
Google Directory - News > Newspapers
http://directory.google.com/Top/News/Newspapers/
Google Directory - Recreation
http://directory.google.com/Top/Recreation/
Google Directory - Recreation > Antiques
http://directory.google.com/Top/Recreation/Antiques/
Google Directory - Recreation > Food
http://directory.google.com/Top/Recreation/Food/
Google Directory - Recreation > Outdoors
http://directory.google.com/Top/Recreation/Outdoors/
Google Directory - Recreation > Travel
http://directory.google.com/Top/Recreation/Travel/
Google Directory - Reference
http://directory.google.com/Top/Reference/
Google Directory - Reference > Archives > Arts
http://directory.google.com/Top/Reference/Archives/Arts/
Google Directory - Reference > Education
http://directory.google.com/Top/Reference/Education/
Google Directory - Reference > Libraries
http://directory.google.com/Top/Reference/Libraries/
Google Directory - Reference > Libraries > Subject Specific > Arts
http://directory.google.com/Top/Reference/Libraries/Subject_S...
Google Directory - Reference > Maps
http://directory.google.com/Top/Reference/Maps/
Google Directory - Reference > Museums > Arts and Entertainment
http://directory.google.com/Top/Reference/Museums/Arts_and_En...
Google Directory - Regional
http://directory.google.com/Top/Regional/
Google Directory - Regional > Asia
http://directory.google.com/Top/Regional/Asia/
Google Directory - Regional > Europe
http://directory.google.com/Top/Regional/Europe/
Google Directory - Regional > North America
http://directory.google.com/Top/Regional/North_America/
Google Directory - Science
http://directory.google.com/Top/Science/
Google Directory - Science > Biology
http://directory.google.com/Top/Science/Biology/
Google Directory - Science > Physics
http://directory.google.com/Top/Science/Physics/
Google Directory - Science > Social Sciences > Communication > Rhetoric
http://directory.google.com/Top/Science/Social_Sciences/Commu...
Google Directory - Science > Social Sciences > Psychology
http://directory.google.com/Top/Science/Social_Sciences/Psych...
Google Directory - Shopping
http://directory.google.com/Top/Shopping/
Google Directory - Shopping > Clothing
http://directory.google.com/Top/Shopping/Clothing/
Google Directory - Shopping > Gifts
http://directory.google.com/Top/Shopping/Gifts/
Google Directory - Shopping > Publications > Books > Arts
http://directory.google.com/Top/Shopping/Publications/Books/A...
Google Directory - Shopping > Vehicles > Autos
http://directory.google.com/Top/Shopping/Vehicles/Autos/
Google Directory - Society
http://directory.google.com/Top/Society/
Google Directory - Society > Issues
http://directory.google.com/Top/Society/Issues/
Google Directory - Society > People
http://directory.google.com/Top/Society/People/
Google Directory - Society > Religion and Spirituality
http://directory.google.com/Top/Society/Religion_and_Spiritua...
Google Directory - Sports
http://directory.google.com/Top/Sports/
Google Directory - Sports > Basketball
http://directory.google.com/Top/Sports/Basketball/
Google Directory - Sports > Football
http://directory.google.com/Top/Sports/Football/
Google Directory - Sports > Soccer
http://directory.google.com/Top/Sports/Soccer/
Google Directory - World
http://directory.google.com/Top/World/
Google Verzeichnis - World > Deutsch
http://directory.google.com/Top/World/Deutsch/
Directorio Web de Google - World > Español
http://directory.google.com/Top/World/Espa%C3%B1ol/
Annuaire Google - World > Français
http://directory.google.com/Top/World/Fran%C3%A7ais/
Directory Web di Google - World > Italiano
http://directory.google.com/Top/World/Italiano/
ウェブディレクトリ - World > Japanese
http://directory.google.com/Top/World/Japanese/
구글 웹 ë””ë ‰í† ë¦¬ - World > Korean
http://directory.google.com/Top/World/Korean/
Google Gids - World > Nederlands
http://directory.google.com/Top/World/Nederlands/
Katalog WWW Google - World > Polska
http://directory.google.com/Top/World/Polska/
Googles kategorisökning - World > Svenska
http://directory.google.com/Top/World/Svenska/
Internal Downloads
External Webpages
About the Open Directory Project
http://dmoz.org/about.html
Submitting a Site to The Open Directory Project
http://dmoz.org/add.html
Open Directory Project Editor Application
http://dmoz.org/cgi-bin/apply.cgi
About Google
http://www.google.com/about.html
Google Advertising
http://www.google.com/ads/
Google Web Directory Help
http://www.google.com/dirhelp.html
Google Directory
http://www.google.com/dirhp/?hl=en
Untitled Document
http://www.google.com/grphp/?hl=en
Google Image Search
http://www.google.com/imghp/?hl=en
Google News
http://www.google.com/nwshp/?hl=en
Google
http://www.google.com/webhp/?hl=en
External Downloads

Googles directory är uppbyggd så att det ligger otroligt mycket länkar till domäner och väntar bara man går ner lite i kategorierna.
Detta gäller även för http://dmoz.org/

Senast redigerat
Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ja, jag kör 4.23 och alla spindlar har en separat mapp.

Hm.. det är riktigt segt att starta en ny spindel, men cpun belastas inte mer än ~7%. Är det webbserven som begränsar eller?

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag har börjat på en alternativ spindel i c# som körs via konsollen. Jag vet inte om den är snabbare men man slipper i alla fall ha en webläsare öppen för att hjälpa till med spindlandet. Om det ok för Sirjeppe och det finns intresse så kan jag fortsätta.

Just nu så kan den bara hämta en lista med domäner som ska kollas och kolla dem. Inget skrivs någonsin tillbaka på databasen varken när den hämtar domäner eller när den är klar med dem.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Såg att du hade fixat www....-buggen i v4.24. Rätt kul att man ser hur många domänder den har kört igenom nu också.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av mixdisk
Såg att du hade fixat www....-buggen i v4.24. Rätt kul att man ser hur många domänder den har kört igenom nu också.

Var ser man det?

EDIT: Nu får jag detta hela tiden

Post: 112/100: http://www..

Invalid address 'http://www..'

Det där "Post: 112/100:" blir "Post: 113/100:" osv.

Någon som vet vad som är fel.

Visa signatur

Neun und neunsich.

Redigera
Citera flera Citera
Permalänk
Medlem
●

I webbläsarfönstret. Står t.ex. 29/100.

Edit: mina spindlar forsätter efter 100 nu. Förrut fungerade det men nu söker den igenom www.... igen.

Post: 3600/100: http://www..

Invalid address 'http://www..'
Redigera
Citera flera Citera
Permalänk
Medlem
●

C22H28N2O - har spindeln fulla rättigheter till mappen den ligger i?...

Den måste nämligen kunna skapa/läsa/ta bort filer för att den ska funka som den ska!

Freakie - Om jag ska fixa en sån funktion vill jag ju göra det själv (och med hjälp av alla er förstås) :)... Roligast så! + att det blir som jag tänkt mig.

Golfin - Det är helt ok för mig! Bara bra och riktigt kul att ni vill hjälpa till

Ska genast fixa den där buggen ni pratar om! Kommer snart en v4.25!

[edit]v4.25 är klar... vill ni tvinga en uppdatering så är det ju bara att ta bort filen "versioncheck" så kollar den på en gång efter en ny version![/edit]

Senast redigerat
Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

jag behövde inte ens ta bort den Funkade bra ändå

[EDIT]
Humz.. kollar den adresser med siffror i? Jag har inte sett det iaf.
den borde ju köra typ k0a k0b osv också?

// kevin

Senast redigerat
Visa signatur

Mycket mumbo-jumbo nu känner jag.

Redigera
Citera flera Citera
Permalänk
Medlem
●

The-k0rf
Jag satt och pillade lite igår natt med en forloop för att generera adresser, men jag kunde fan inte komma på hur man ska kunna slänga in sifror i den!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kan man inte scana ip adresser istället? Kanske blir för mycket?

Visa signatur

"Sleep is one of those funny things about being a human being" - Marshall Brain
"Mike broke the hubble, Mike broke the hubble" - Mystery Science Theater 3000
"Det finns inget som kan kallas skrot!" säger Mulle Meck, "bara gamla saker som går att använda på nya sätt. Rulla ut och rulla på."

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Power
Kan man inte scana ip adresser istället? Kanske blir för mycket?

Vad menar du med scanna? Bara testa alla som finns eller vad :S ?

Visa signatur

Ännu en webbplats utan innehåll, fast den är ju ganska snygg att kolla på iallafall.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Power
Men om man använder virtuella servrar på ett ip så kommer du bara att få upp default sidan när man gör så.
En del servrar huserar ett par hundra domäner på 1 ip.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Power
Kan man inte scana ip adresser istället? Kanske blir för mycket?

Vad menar du med scanna? Bara testa alla som finns eller vad :S ?

Visa signatur

Ännu en webbplats utan innehåll, fast den är ju ganska snygg att kolla på iallafall.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Power
Man borde inte göra det eftersom en del använder virtuella servrar och huserar därmed flertalet domäner på ett ip. Går man direkt till det ip't så kommer man bara till default domänen.

Swec segade... Därför det blev dubbelpost.

Senast redigerat
Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Freakie... kör du såna loopar på min server eller gör du det lokalt?

Förstår inte hur min dator kan segas ner så mycket nu! Nu hämtar ju bara spindlarna 100 domäner (vilket kanske tar 0,2 sekunder att plocka fram) och sedan kopplar den från... Jag förstår verkligen inte!

Någon som har en idé?

Är det NÅGON som kör något annat än nu än senaste versionen av spindeln?

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe
Jag har kört den loopen lokalt... Försökte att köra det mot din server men det gick inte så bra med funktionen jag testade med så jag la ner.

Jag kör spindel 4.26 här iaf.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag upptäckte att det nog var när folk sökte... Måste skriva om lite saker och ting här!

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

jeppe
Kan man inte lägga en kopia av databasen som ska sökas igenom på en annan server, och sedan typ en gång per dygn så kopierar man över ändringarna till den sökbara databasen?

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jo, det vore grymt om det gick!

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kanske dags att dra in ett riktigt Server-os, t ex FreeBSD nu när loaden börjar bli mycket?

Visa signatur

Asus Maximus II formula, E8400 @ 3.9GHz, 4GB Dominator DDR2, Radeon HD4850.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av SwedishPshyco
Kanske dags att dra in ett riktigt Server-os, t ex FreeBSD nu när loaden börjar bli mycket?

Jag tror också att det kan vara en bra idé. Dock så hade jeppe lite svårt att få de externa databaskopplingarna att fungera då...

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Det hade varit gött bara att ha en standalone server :P... Nu är ju båda datorerna jag har workstations... Varav Ubuntu linux på den ena och Windows XP på den andra...

Precis...

På Ubuntulaptopen så får jag inte till så att ni får koppla upp mot databasen :/... Något tips?

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe, jag har för mig att det ska vara någon fin liten inställning någon stans... Fråga i UNIX - Övriga operativsystem, de kanske har några bättre tips!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
1 2 3 4 5 6 7 8
Skriv svar