Ladda ned CSV och innehållande länkar

Permalänk

Ladda ned CSV och innehållande länkar

Hej!

Tänkte kolla i fall någon av er här möjligvis hade lite feedback åt mig?
Nu är det så att jag har en csv fil med upp till 100.000 olika direkt nerladdnings länkar.
Det räcker man trycker på en av de här länkarna så börjar den ladda ner de automatiskt.
Skulle vilja på något sätt få någon "robot" och göra de åt mig med hjälp av kodning.

Läst lite på nätet att Python kan va rätt verktyg för detta jobbet.

Ingen av er här som kanske har någon kunskaper på hur man kan få de och funka?
Feedback uppskattas

Dold text
Permalänk
Medlem

Bash och wget/curl.

Permalänk
Medlem

Vad har du för förutsättningar? Vilken miljö (operativsystem) sitter du i? Ge gärna exempel på hur en textrad ser ut i csv filen. Det du måste göra är att:
- Loopa igenom alla rader
- Plocka ut länken ur raden
- Ladda ner den med någon funktion som det språk du använder dig av har
- klart

Permalänk
Skrivet av trexake:

Vad har du för förutsättningar? Vilken miljö (operativsystem) sitter du i? Ge gärna exempel på hur en textrad ser ut i csv filen. Det du måste göra är att:
- Loopa igenom alla rader
- Plocka ut länken ur raden
- Ladda ner den med någon funktion som det språk du använder dig av har
- klart

Sitter för tillfället vid en windows 7, Men när jag väll fått igång detta så kommer jag använda Google Cloud Platform Kommer behöva använda python för och lägga upp de där. Min dator är tyvärr ej den bästa men kommer sannerligen investera i en ifall de här då fungerar.

Ett exampel på hur en rad hade sett ut i denna csv filen. De enda som kommer skilja sig från alla dessa radarna är siffrorna jag gjort i tjock stil.
Allt annat förblir de samma. Det finns länkar på alla rader

http://ww.exempel.se/excel/print.asp?id=167468745&b=0&namn=VPs_ar_Small

Direkt när man trycker på denna filen så laddas innehållet ner automatiskt.

Permalänk
Medlem

Om du är normalbegåvad så borde du kunna scripta detta efter max en veckas pluggande i valfritt språk.
I PHP skulle det röra sig om ca 9 rader lättläslig kod.
Det du däremot kommer råka ut för är en IP-ban om du försöker ladda ner allt.

Pseudokod :

file = readfile("file.csv); foreach(line in file) { data = readfile(line); id = regexpmatch(line,"regexpföratthittaID); savefile(id,data); }

Nej, jag orkar tyvärr inte hjälpa dig mer än så därför att även OM jag skulle få för mig att skriva en fungerande kod tror jag inte du skulle kunna använda den och därmed skulle du behöva ytterligare hjälp osv.

Permalänk
Avstängd

Är det länkar som du har fått eller är det att du måste gå in på en sida för att får tag på dom här länken?

Visa signatur

Server: två Intel Xeon E5-2690v2 och 128 GB ram

Min server dator: #15149189 http://i.imgur.com/BKxOmUP.jpg
zxhosting: https://www.facebook.com/pages/Zxhosting/1476037889350815

Permalänk
Skrivet av zxhosting:

Är det länkar som du har fått eller är det att du måste gå in på en sida för att får tag på dom här länken?

Har redan fått källan till alla dessa länkarna, har de i en csv fil. Direkt vid ett tryck på de så börjar de ladda ner, behövs inget mer tryckande på musen eller tangentborden efter de liksom.

Tycker de e jobbigt och behöva gå igenom en och en så just därför man försöker ta del av dagens teknologi.

Skickades från m.sweclockers.com

Permalänk
Skrivet av iXam:

Om du är normalbegåvad så borde du kunna scripta detta efter max en veckas pluggande i valfritt språk.
I PHP skulle det röra sig om ca 9 rader lättläslig kod.
Det du däremot kommer råka ut för är en IP-ban om du försöker ladda ner allt.

Pseudokod :

file = readfile("file.csv); foreach(line in file) { data = readfile(line); id = regexpmatch(line,"regexpföratthittaID); savefile(id,data); }

Nej, jag orkar tyvärr inte hjälpa dig mer än så därför att även OM jag skulle få för mig att skriva en fungerande kod tror jag inte du skulle kunna använda den och därmed skulle du behöva ytterligare hjälp osv.

Tusen tack! Uppskattar hjälpen man fick här ska ge de ett försök

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av Yooooshii91:

Tusen tack! Uppskattar hjälpen man fick här ska ge de ett försök

Skickades från m.sweclockers.com

Regexp för att matcha ut id är "id=([0-9]+)&" (PCRE).