Forum Mjukvara Programmering och digitalt skapande Tråd

Bygga en hemside scannande Bot (Frågor?)

1
Skriv svar
Permalänk
Medlem
●

Bygga en hemside scannande Bot (Frågor?)

Fick iden att jag ville testa skapa en bot som skannar hemsidor och t.ex. letar efter olika nyckelord och lagrar dessa i en databas. Jag ville prova och se om jag kan utföra detta med mina nuvarande kunskaper men det jag egentligen undrar är hurvida lagligt det är att skanna och spara saker på nätet?

Jag vill kunna visa upp en enkel sida med statistik som boten har hämtat men som sagt så undrar jag vilka problem kan man stöta på när det gäller lagar och regler? (Kommer använda mig utav c++ och mysql till boten, och php för visningssidan)

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Hörde du möjligen den idéen på högskolan i skövde? Diskuterade EXAKT den idéen med en polare tidigare idag.

Visa signatur

Desktop: | Win10 | InWin 303 | ASUS TUF X570 | AMD Ryzen 5 3600 | Noctua NH-U12S (PP) | Intel 600p 256GB | Gigabyte GTX 670 | 32GB DDR4 2400Mhz | Corsair RM650x | 3x 1080 Screens |
Datacenter: | 1x Physical | 1x Virtual |
Laptop: | 2x |

Dell Certified Technician

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hehe nae sitter på BTH i karlskrona och började snoka runt lite på Googlebot när jag fick iden

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Så vitt jag vet är det fritt fram. Det finns inga lagar som förhindrar det du vill göra.

Visa signatur

9950X3D | 5080

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag började med EXAKT samma sak igår nämligen och diskuterade detta med GreveFrog.

Jag använder mig av Python bara för att det kändes hyfsat enkelt och ville lära mig om själva språket.

Vad jag vet så finns det inga lagar och regler som sätter stopp för det. Man gör ju det typ varje gång som man själv besöker en hemsida.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Finns inga lagar emot det vad jag känner till, men värt att veta är att materialet du sparar kanske är upphovsrättsskyddat och får ej spridas!

Visa signatur

Citera mig för svar :D
- Årets Citat: Vattenulf -
"Pumpen snurrar inte den står stilla i botten på chassit. Om den hade snurrat skulle slangarna blivit vridna så det vill man ju inte."

Redigera
Citera flera Citera
Permalänk
Medlem
●

Det jag undrar är om det är laglig att lagra t.ex domäner och länkar för att sedan kanske visa upp hur många sidor boten har skannat och vilka. Men antar att det är frittfram då att börja knappa kod

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Bosnic:

Det jag undrar är om det är laglig att lagra t.ex domäner och länkar för att sedan kanske visa upp hur många sidor boten har skannat och vilka. Men antar att det är frittfram då att börja knappa kod

Gå till inlägget

Inga problem, alla sidor blir spindlade varje dag, inte minst av Google.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Om du ska spindla djupare ner i sidorna så kan det vara en bra ide att följa robots.txt (http://en.wikipedia.org/wiki/Robots_exclusion_standard).
Gör du stora spindlingar så är det även bra att ha pause mot det IP du spindlar så du inte DOSar sidan. Denna pausen kan även finnas definierad i robots.txt. Använder man ex python finns bibliotek för parsning och användning av bla robots.txt som underlättar.
En gång var jag lite väl aktiv mot ett svenskt webbhotell (när jag tänkte tanka ner alla favicon.ico under .SE) vilket gjorde att dom IP-bannade mig. Men det togs bort efter kontakt med dom och gjorde spindeln lite snällare.

Spindlar miljontals domäner varje dag via mitt projekt DNSDigger.com

Redigera
Citera flera Citera
1
Skriv svar