Kontrollera annonser automatiskt med beautifulsoup4

Hej!

Jag försöker mig på webscraping, mest för det är kul. Så jag tänkte att jag skulle bygga ett skript som kollar sweclockers var 5 minut efter annonser på datorer.

Mitt problem just nu är att jag inte lyckas förstå vad det är jag ska skicka till sweclockers.
Från Firefox developer tools så ser jag att när jag gör en POST genom att trycka "sök i marknaden", så skickas följande:
-------------------------------------------------------------------------------
POST /marknad/sok HTTP/1.1
Host: www.sweclockers.com
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Accept-Encoding: gzip, deflate, br
Referer: https://www.sweclockers.com/marknad
Content-Type: application/x-www-form-urlencoded
Content-Length: 104
Cookie: __couid=4f456a3d-7254-49eb-9697-396bdd44d3c3; __codnp=
DNT: 1
Connection: keep-alive
Upgrade-Insecure-Requests: 1

query
catid=1
locid=0
action=doSearch
typeid[]=1
typeid[]=2
typeid[]=3
typeid[]=4
csrf
-------------------------------------------------------------------------------
Det är sedan en 302 som skickas så man får begära den nya sidan med en GET.

Så jag provade att skicka detta genom postman men får då endast tillbaka ursprungssidan utan sorterat resultat. Detta nedan är headern jag får, vilket inte har något redirect.
-------------------------------------------------------------------------------
Accept-Ranges →bytes
Age →0
Cache-Control →max-age=300, no-store, must-revalidate
Connection →keep-alive
Content-Encoding →gzip
Content-Length →17406
Content-Type →text/html; charset=UTF-8
Date →Thu, 19 Jul 2018 20:42:35 GMT
Expires →Thu, 19 Jul 2018 22:47:35 +0200
Pragma →Cache
Server →Apache
Vary →Accept-Encoding,X-Session
Via →1.1 varnish-v4
X-Cache →MISS
X-Srv →1
X-Varnish →200074202
-------------------------------------------------------------------------------
Varför då?

Har någon av er gjort detta eller kan ge mig ett tips?

@Klorixx:

Själva poängen är att jag vill prova på webscraping. Annonserna är väl egentligen bara ett bihang. Absolut så ska jag kolla hur länge de är giltiga

Det kanske är samma sak med en rss feedback, men kan man sortera ut endast en kategori med det?

@pv2b:

I postman fyller man i fält så formatera den resten åt en.

import requests
import bs4

response = requests.get("https://www.sweclockers.com/forum/aktiva")
if response.status_code == 200:
    html = bs4.BeautifulSoup(response.text, "html.parser")
    for row in (html
        .find("div", {"class": "forumThreads"})
        .findAll("tr", {"class": "forumThread"})
    ):
        h2 = row.find("h2")
        print(h2.a.getText())
        print(h2.a["href"]);
        print()

import requests
from lxml import etree
from io import StringIO

response = requests.get("https://www.sweclockers.com/forum/aktiva")
if response.status_code == 200:
    parser = etree.HTMLParser()
    doc = etree.parse(StringIO(response.text), parser)
    for row in doc.xpath("//div[contains(@class, 'forumThreads')]//tr"):
        for heading in row.xpath(".//h2/a"):
            print(heading.text)
            print(heading.attrib["href"])
            print()

1600x - första gången jag överklockar
/forum/trad/1524442-1600x-forsta-gangen-jag-overklockar

Ghost S1 - prestanda, format, community
/forum/trad/1470645-ghost-s1-prestanda-format-community

Grafikkort i handbagaget på flyget?
/forum/trad/1519865-grafikkort-i-handbagaget-pa-flyget

Playerunknown's Battlegrounds
/forum/trad/1467980-playerunknowns-battlegrounds

Pixel 2 skickad på lagning av skärm
/forum/trad/1524265-pixel-2-skickad-pa-lagning-av-skarm

Fungerar dem här komponenterna ihop?
/forum/trad/1524462-fungerar-dem-har-komponenterna-ihop

FläktClockers: hur håller ni era hem svalna i hettan?
/forum/trad/1524322-flaktclockers-hur-haller-ni-era-hem-svalna-i-hettan

...

Tack!

Det var bra info. Men kan jag sortera på samma sätt som i när jag trycker sök? För det är svårt att bygga ett filter när det oftast bara är komponentnamn i titeln.

Skickades från m.sweclockers.com

@Biberu:

Jo det är ett alternativ förstås. Är webscraping krävande för servrar, eller är det så att man inte gillar dem?
Jag kan ju börja med rss feeden.

Alternativt funderade jag på KTH:s hemsidor. Ofta så uppdaterar lärarna hemsidorna utan att berätta för oss studenter (frustrerande). Då skulle jag kunna kontrollera om websidan uppdaterats, men det kräver dock att jag loggar in vilket inte fungerade för mig senast då jag försökte.

Hur skulle ni göra för att kontrollera efter ändringar på en hemsida?