susning.nu offline?

Hehe, ja, min första tanke var att du ville få ner servern som susning.nu ligger på.

Men att just få ner endast informationen kan nog bli lite lurigt. Däremot kan man ju tanka hem hela susning.nu med hjälp av en web site downloader, och sedan parsa ut datan man vill ha och mata in den i en databas. Men det låter som ett stoooort projekt. Och jag förmodar att du lägger informationen på en lokal server som du kommer åt med handdatorn? Annars fyller du nog handdatorn rätt snabbt.

En annan nackdel är ju att mycket information på susning.nu uppdateras och ny information tillkommer rätt ofta. Men det är ju en intressant idé!

Tryck enter i den tomma sökrutan så får du länkar (indirekta) till alla tillgängliga termer.

http://susning.nu/susning.fcgi?dosearch=1

Det är väl bara att knyta websajtnedladdaren till susnings index-sida (den som ph0ng pratar om).

Det spelar ingen roll om susnings webserver genererar html sidor från en databas eller från en fil.

Jag tror dock inte att det är en bra lösning, det känns långsamt. Näst är nog att fråga dem efter det och kanske eventuellt betala en liten summa.

Jag har inte påstått att det finns "en massa sidor som ligger på någon hårddisk". Men det säger väl sig självt att klienten får en separat och unik webbsida för varje sökterm?

EDIT (reflektion över s.c.s.i.s edit): vad får dig nu att tro att det finns en sida för varje sökterm? menar du en statisk sida för varje?

Programmet följer väl alla länkar, och anropar därför varje sökterm. Det fungerar väl precis som en vanlig webbläsare?

Genererandet av sidorna sker väl iaf helt och hållet server-side, så det spelar ingen som helst roll om du läser dem i en webbläsare eller med en nerladdare, det blir samma filer ändå, dvs genererad HTML kod.

Så länge det är ren text är det nog ingen fara.

http://susning.nu/Susning.nu/statistik

Där har du artikelantal och artikellängder. Det borde gå att grovt beräkna mängden data utifrån det.

Du talar i gåtor men vi tycker om dig ändå.

nu har jag börjat ladda hem deras sajt.
Använder teleport pro. Får väl se hur lång tid det tar.
Har fått hem ca 1000 filer och det tar hittills ca 50MB, ungefär 30000sidor kvar (ökar dock hela tiden när den hittar nya), så det kommer nog ta väldigt lång tid och ta väldigt mycket plats.
30*50MB=1500MB och det är om den inte hittar fler och det lär den göra.

edit:
Nu verkar programmet vara lite smått överbelastat och lite småsegt. Men det verkar som den fortsätter, låter den gå ett tag till.
runt 2000filer klara och lite styvt 120MB

Angående reklamen skulle jag gissa att programmet inte bryr sig om att följa länkar som leder till andra siter. Den kanske bara går på relativa länkar.

Angående om sidor laddas ner på nytt är möjligt, om sökvägen online till innehållet är olika. Vilket borde vara möjligt med extra information i GET-requests om språk o.dl.
Om programmet är välgjort så försöker det väl förhindra detta.

Jag har angett att den inte skall ladda bilder. Sen har jag även sagt att det bara är sidor från www.susning.nu som skall laddas ner så länkar till externa bryr den sig inte om.

Sen tror jag antalet sidor ligger runt 80000 och då blir det ännu mer.
Sen nu verkar den konstig också då storleken ökar mer än antalet sidor,
2134sidor 185MB.
80000 sidor skulle ge runt 7GB... får se hur den artar sig efter ett tag.

Hoppas den inte ökar för mycket, har bara 11GB kvar på den partitionen.

Har du analyserat datan du fått ner än så länge, eller är det programmets statistik du utgått från endast?

Det är katalogstrukturen direkt i den mappen som det sparas i jag utgår ifrån, samt från vad programmet säger (då den ibland svarar, arbetar väldigt hårt).
Det skulle nog gå fortare om man har en snabbare dator då det verkar vara ganska processorkrävande program, ligger konstant på maxload.

Har kollat så att det stämmer det jag fått ner och det fungerar att surfa offline men vi sökning skickas man till deras server.
Men det är inte så svårt att fixa nån stor indexsida med alla 80000 länkar så man kan söka offline.

Men länkarna till andra förklaringar inom dokumenten måste ju också peka till susning.nu. Blir en krävande process att ändra i alla dokument...

Edit: okej s.c.s.i., då är min diskussion helt ute i skogen

Programmet ändrar länkarna så det är inget problem.
Däremot har jag märkt att den laddar hem alla sökningar också, så det kommer ta väldigt lång tid och ta mycket plats. Då vissa sökningar ger sidor som är över 1MB stora.
Kanske finns nån inställning i programmet så man kan exludera dessa, men sånt vet inte jag då jag inte använd teleport pro så mycket.
Nån annan kan ju prova med programmet och försöka göra lite småinställningar innan ni börjar sökningen så ni slipper detta problem.

Tänk på att varje artikel har länkar till tidigare versioner av samma artikel, och till en sida för att redigera artikeln. Det kan nog vara tillrådigt att se till att nerladdaren exkluderar dessa.

Men då vill du väl själv skriva ett program som går igenom och laddar ner informationen? Du behöver ju inte ha laddat ner allt först för det.

programmet har tuggat klart, dock fick den inte hem allt då jag angav att den inte skulle ta med vissa sidor och då hittade den inte alla som skulle med. Har dock satt på den igen så den får leta lite till. Dock verkar programmet inte klara av mer än runt 60000 filer.
Det jag fått hem hittills är ca 14000 filer på 388MB.
Men denna omgång angav jag söksidan (tom sökning) direkt så den borde gå fortare att söka igenom allt. Nu har den enligt programmet hittat över 40000 filer, kommer ta väldigt lång tid.