Premiär! Fyndchans i SweClockers Månadens Drop
Permalänk
Medlem

RSS, Torrents och Filter

Har suttit och krånglat med diverse lösningar för ett smärre problem halva natten och tänkte kolla hur mycket åt fanders jag är ...

Scenario:
Har några RSS-feedar vars torrents jag önskar, per automatik, filtrera för att sedan laddas ned.

Tidigare anfallsvinkel:
Program med någon form av inkluderad RSS-lösning (Qbittorrent, Deluge+YaRSS2, KTorrent), men Deluge var på tok för segt för min smak, QBittorrent buggade ur på tok för ofta och KTorrent är bannad på vissa trackers.

Ny anfallsvinkel:
Rtorrent, underbar klient. Dock kommer den utan RSS-stöd inbyggt och jag är inte intresserad av att dra in rutorrent eller dylikt web-interface.

Således, det jag söker är ett smidigt sätt att externt filtrera RSS-feedarna och låta denna externa lösning lägga de filtrerade torrent-filerna i olika mappar som Rtorrent sedan läser av (watch folders). Helst en nedbantad lösning som ändock är hyfsat lättkonfigurerad (för blodtryckets skull ).

Visa signatur

Desktop: AMD 3950X, 64 GB RAM, Nvidia 4070 ... (Windows 11)
Serverdesktop: AMD 5600G, 64 GB RAM (Proxmox)
Labbmiljö: Supermicro SC825 X9DRi-F 2xE5-2667v2 64GB RAM
Kamera: Canon R5, Canon RF 100-500, Laowa 100mm f/2.8, Canon RF 24-70 f/2,8

Permalänk
Hedersmedlem

Jag använder RSSDler för detta. Ett Pythonscript som kollar RSS-feeds med jämna mellanrum och matchar mot användardefinierade reguljära uttryck (med både positiva och negativa filter).

Senaste releasen kom 2009 och programmet har inte utvecklats aktivt sedan dess. Jag har dock kört det konstant sedan ungefär samma tid utan större problem, utöver att jag har ett cronjob som startar om scriptet varje natt då det tidigare hade en fallenhet för att krascha efter lång tids (~månader) kontinuerlig körning.

Det är ett generellt program som inte bryr sig om vad som ska laddas ner, så det fungerar lika bra till t ex SR-podcasts som torrents.

Korta installationsinstruktioner för Debianbaserade OS
Kan med fördel använda Mechanize-modulen istf inbyggda urllib, så `sudo aptitude install python-mechanize` kan vara bra att börja med.

Det finns ingen egentlig anledning att köra `setup.py`-scriptet och installera RSSDler globalt. I stället:

  1. wget http://rssdler.googlecode.com/files/rssdler-0.4.2.tar.gz

  2. mkdir ~/.rssdler

  3. tar zxvf rssdler-0.4.2.tar.gz -C ~/.rssdler

Använd detta något förbättrade initscript jfr m det som är inkluderat. Ändra "ANVÄNDARE" på rad 26 till önskad användare och spara som `/etc/init.d/rssdler`. För att installera denna tjänst för autostart så kör `sudo update-rc.d rssdler defaults`. Starta med `sudo service rssdler start`.

Kommenterad exempelkonfiguration för att dra hem Tankesmedjan från P3. Se även källkoden för `rssdler.py` för en välkommenterad variant på rad 85 och neråt. Notera att man kan ange många olika mönster genom syntaxen

download1 = ubuntu download2 = fedora

och att man kan ge globala negativa mönster genom t ex `regExFalse = (i386|amd64)` och radspecifika med t ex `download1False = maverick`. Mer än så har inte jag behövt använda för matchning.

Bättre filnamn
För att använda `nameFromRedirect` som nämns i den tidigare länkade exempelkonfigurationen (inte säkert det behövs; beror på vilka feeds man lyssnar på och vad man vill göra), så

  1. ladda hem min patch till t ex `~/nameFromRedirect.patch`

  2. gå till `rssdler042`-katalogen

  3. kör `patch -p1 < ~/nameFromRedirect.patch`

och definiera sedan `nameFromRedirect = True` för önskade feeds. SR:s feeds har en förmåga att ge väldigt intetsägande filnamn utan denna funktion (t ex `4539889.mp3` i stället för `p3_tankesmedjan_20130429_1800_3b42a9d.mp3`).

Dagliga omstarter
För att starta om tjänsten varje dag kl 06 så har jag lagt in:

0 6 * * * /usr/sbin/service rssdler restart > /dev/null 2>&1

i roots crontab via `sudo crontab -e`.

Jag vet inte varför saker slutade laddas ner efter ett tag, och det är lite klurigt att reproducera då det kunde ta månader mellan gångerna, så detta behövs mycket möjligen inte heller.

Visa signatur

Nu med kortare användarnamn, men fortfarande bedövande långa inlägg.

Permalänk
Medlem

Hm, ja jag får nog ge Rssdler ett försök till då. Strulade en del när jag försökte få det att fungera, men det handlade nog mest om skit bakom spakarna. Ska ta en närmare titt på länkarna vad det lider, förhoppningsvis kan de väl räta ut några frågetecken.

Visa signatur

Desktop: AMD 3950X, 64 GB RAM, Nvidia 4070 ... (Windows 11)
Serverdesktop: AMD 5600G, 64 GB RAM (Proxmox)
Labbmiljö: Supermicro SC825 X9DRi-F 2xE5-2667v2 64GB RAM
Kamera: Canon R5, Canon RF 100-500, Laowa 100mm f/2.8, Canon RF 24-70 f/2,8