Ang. SEO Tools - robots.txt. Hjälp med en benämning.
Jag har en liten fundering kring det här med en benämning i och med "robot.txt".
Hittade en sida där man kan få hjälp med att skapa en "robot.txt" fil.
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
Men det finns en benämning på sidan som jag är lite osäker på vad den igentligen betyder.
Det är benämningen "Crawl-Delay". Och sen finns det fem olika alternativ att ta till.
Så, den här "Crawl-Delay" vad betyder det och vad gör den i sammanhanget ?
Just det, jag ber om ursäkt om jag nu ha råkat lägga tråden på fel ställe. Jag har haft lite smått beslutångest över vart jag skulle lägga den. Men,..nu blev det så det blev. Hoppas på det bästa att den hamnade på rätt ställe.
