Programmera web-spindel men i vilket språk?

Jag tror Perl skulle vara ett lämpligt språk, kan ni det redan och har utvecklat i det tidigare är det ett givet val, jag tror inte C++ är vettigare då som du själv säger, nätverket är den största flaskhalsen.

Tror Perl har såpass lite minnesluckor att det inte spelar någon större roll.

Annars kan ju Java fungera rätt bra, då stödet för strängar och nätverk är rätt bra.

Perl är väldigt bra för detta.

Du skall inte kolla på kompilerade språk för att undvika minnesläckor, framförallt inte C ;). Perl har inga minnesläckor, perl kanske har dock.

Kom ihåg att läsa robots.txt så att du inte "spindlar" något serverägaren ogillar.

Hur menar du?

Om du kan perl så kör på det.
Python skulle nog annars fungera utmärkt, men dumt att lära sig det bara för det här då perl bör räcka fint och du trivs med det.

Jag tror inte du behöver oroa dig för scriptspråkens hastighet då du kommer ha andra större flaskhalsar.

Om du är sugen på att lära dig python så låter det här som ett finfint första projekt.
Finns bra moduler för webhantering också

I standardbiblioteket finns tex

urllib och urllib2 (täcker lite olika grejer)
http://docs.python.org/lib/module-urllib.html
http://docs.python.org/lib/module-urllib2.html

cookielib (om du behöver använda cookies)
http://docs.python.org/lib/module-cookielib.html

Perl är språket, perl är tolken.