Bevaka sida via script (möjligt?)

Permalänk
Medlem

Bevaka sida via script (möjligt?)

Hej alla glada nördar!

Är så att jag behöver hålla koll ofta på en hemsida (Trafikverkets bokningsida för prov) som är bakom en inloggningsida (via bank-id)
Behöver hålla koll på plötsliga nya tider som dyker upp (är åt en trafikskola/yrkesutbildning).

Den stora frågan, kan man hålla på detta, gärna flera städer (som väljs i en rullista), antingen genom flera fönster alt på något annat sätt.
Sen finns auto-utlogg, så kanske kan vara bra att uppdatera sidan emellan åt (tror det är kanske 30 min men inte säker).
Om sidan uppdateras så vill jag gärna ha mail eller liknande så man kan uppdatera ofta och snabbt notifieras.
Kanske kan få med info om uppdatering direkt i mail, om det är möjligt.

Kan ha dator igång hela tiden (antingen pc alt Raspberry pi) så det kan uppdateras.

Ursäkta om det är en dum fråga, men hade vart guld om det gick att lösa

Visa signatur

CITERA om du vill ha snabbt och garanterat svar!
| Windows 7 professional 64bit, linux arch | asrock Extreme4-M | Intel 3570K | Gigabyte 7950 3gb vram | Corsair vegance 8gb 1600mgz | intel 320 160 gb | In-Win fanqua | FSP 650W 80+ gold |

Permalänk
Medlem

Jag skulle googla på ”page monitor chrome extension”. (Byt ut ”chrome” mot den webbläsare du använder.) Kanske också ”auto reload chrome extension”.

Permalänk
Medlem
Skrivet av lydell:

Jag skulle googla på ”page monitor chrome extension”. (Byt ut ”chrome” mot den webbläsare du använder.) Kanske också ”auto reload chrome extension”.

Stort tack för tips men verka fungera sisådär, då tillägget kopiera länken (följde inlogg med bankid med där?) och länken verka vara till hela bokningsidan (ingen specifik länkadress till ort och specifikt prov).
Men ska kolla vidare, kanske går o lösa på något vänster

Tack!

EDIT: hitta fler plug-in ska kolla dom med

Visa signatur

CITERA om du vill ha snabbt och garanterat svar!
| Windows 7 professional 64bit, linux arch | asrock Extreme4-M | Intel 3570K | Gigabyte 7950 3gb vram | Corsair vegance 8gb 1600mgz | intel 320 160 gb | In-Win fanqua | FSP 650W 80+ gold |

Permalänk
Inaktiv
Citat:

är åt en trafikskola/yrkesutbildning

Särskilt av denna anledning så ser jag minst två problem med din lösning:

1. Finns stor risk att Trafikverket inte gillar det, och även att du hamnar i juridiska problem (värsta fall åtal för dataintrång osv.)
2. Du använder bankid, vilket betyder att du måste koppla lösningen till en privatperson.

Den professionella och riktiga lösningen här är att ringa/maila trafikverket och fråga om dom har ett API för access till datan. Om dom inte har det, så är den professionella lösningen att helt enkelt berätta för din kund att det inte är möjligt.

Permalänk
Medlem

Hej, jag jobbar åt trafikverket och att automatiskt försöka boka prov är något vi aktivt försöker att blockera.
Jag vill uppmana er att inte hjälpa TS tills Moderatorer har hunnit stänga denna tråd.

"Automatiserad tidssökning
Det är inte tillåtet att använda någon form av program eller botar i bokningstjänsten som söker lediga tider per automatik."
https://www.trafikverket.se/korkort/boka-prov/

Visa signatur

CPU: Ryzen 9 3900x Noctua NH-D14 MOBO: TUF Gaming X570-PLUS GPU: GTX 980 RAM: 32 GB 3200 MHz Chassi: R4 PSU: Corsair AX860 Hörlurar: SteelSeries 840 Mus: Logitech G502 Lightspeed V.v. nämn eller citera mig för att få svar.

Permalänk
Medlem
Skrivet av Haptic:

Hej, jag jobbar åt trafikverket och att automatiskt försöka boka prov är något vi aktivt försöker att blockera.
Jag vill uppmana er att inte hjälpa TS tills Moderatorer har hunnit stänga denna tråd.

"Automatiserad tidssökning
Det är inte tillåtet att använda någon form av program eller botar i bokningstjänsten som söker lediga tider per automatik."
https://www.trafikverket.se/korkort/boka-prov/

Går väl bara att rekommendera, finns väl inget i lagen som säger hur jag får använda internet om motivet inte är för skadegörelse.

Permalänk
Medlem

Autentiseringen via BankID är nog just för att det är tänkt att det ska vara för individer.
Som jag förstått det ska trafikskolan alltså kolla när det finns provtider för sina elever, men sen ska de boka själva (därav BankID)?
Dvs bördan att kolla upp tider flyttas över från individen (eleven) till företaget (utbildningsanordnaren).

Drar här även lite paralleller till scalpers som använder bot:ar för att knipa attraktiva prylar snabbare än någon människa kan göra.
Det är både moraliskt tveksamt och samtidigt smart. Vet inte om det direkt är en positiv utveckling, att det krävs sådant för att ha en chans.
Även om det inte direkt finns större incitament för butiken/provanordnaren/liknande, då det inte spelar roll för dem vem som köper/gör, så är det på dem det ligger att ha olika mekanismer för att försvåra och öka kapaciteten.

Men är det möjligt att göra?
Absolut, men helt lätt är det inte och om sidan ändras kan det krävas en hel del förändringar för att det fortfarande ska fungera.
Det är nog inte bara något snabbt fixat.
Konceptet är ju lite intressant, men vilken slags lösning som blir lämplig är ju frågan.
Att gå mot något API är en mer professionell lösning än att bevaka sidan ja.

Permalänk
Avstängd
Skrivet av Haptic:

Hej, jag jobbar åt trafikverket och att automatiskt försöka boka prov är något vi aktivt försöker att blockera.
Jag vill uppmana er att inte hjälpa TS tills Moderatorer har hunnit stänga denna tråd.

"Automatiserad tidssökning
Det är inte tillåtet att använda någon form av program eller botar i bokningstjänsten som söker lediga tider per automatik."
https://www.trafikverket.se/korkort/boka-prov/

Eller så får han så mycket tips som möjligt så vet du vad ni måste lösa?

Visa signatur

Mr. Scriptman

Permalänk
Medlem
Skrivet av skyw00lker:

Går väl bara att rekommendera, finns väl inget i lagen som säger hur jag får använda internet om motivet inte är för skadegörelse.

Tror lagen har en del att säga om avtalsbrott (eftersom TS bryter mot våra användarvilkor) men jag är inte någon jurist, så tänker inte uttala mig om eventuell laglighet eller inte.

Skrivet av Lagerlöf:

Eller så får han så mycket tips som möjligt så vet du vad ni måste lösa?

Sant, och det har vi gjort med en hel del andra trådar

Visa signatur

CPU: Ryzen 9 3900x Noctua NH-D14 MOBO: TUF Gaming X570-PLUS GPU: GTX 980 RAM: 32 GB 3200 MHz Chassi: R4 PSU: Corsair AX860 Hörlurar: SteelSeries 840 Mus: Logitech G502 Lightspeed V.v. nämn eller citera mig för att få svar.

Permalänk
Medlem
Skrivet av Haptic:

Hej, jag jobbar åt trafikverket och att automatiskt försöka boka prov är något vi aktivt försöker att blockera.
Jag vill uppmana er att inte hjälpa TS tills Moderatorer har hunnit stänga denna tråd.

"Automatiserad tidssökning
Det är inte tillåtet att använda någon form av program eller botar i bokningstjänsten som söker lediga tider per automatik."
https://www.trafikverket.se/korkort/boka-prov/

Då har TS en mycket bra affärside framför sig!
Manuellt sitta och tidssöka och maila. Lön: 30k/månad plus förmåner låter väl rimligt?

Visa signatur

I7 12700K, Asus RTX 3080 TI, Alienware AW3423DW och annat smått o gott.

Permalänk
Medlem
Skrivet av D.:

Drar här även lite paralleller till scalpers som använder bot:ar för att knipa attraktiva prylar snabbare än någon människa kan göra.
Det är både moraliskt tveksamt och samtidigt smart. Vet inte om det direkt är en positiv utveckling, att det krävs sådant för att ha en chans.

Det stora problemet med att boka uppkörning är ju att hela systemet i sig är helt värdelöst i praktiken. Folk bokar tider i förväg bara för att få en dead-line att jobba emot (lära sig köra bil), så det är omöjligt att få en tid i närtid utan det är fullt i flera månader. Folk avbokar sedan systematiskt när datum närmar sig för att de inte känner sig redo och flyttar fram tiden, så det finns alltid lediga tider egentligen. Systemet är kasst och jag förstår att folk vill automatisera istället för att sitta och spamma F5 varje morgon mellan 07 och 08..

Visa signatur

pfSense: GA-J1900N-D3V Quad-core Celeron 2GHz, Samsung 4GB, pfSense 2.2.2@USB
ESXi: i5 3470S, Gigabyte GA-B75N, Corsair XMS3 16GB, Intel PRO/1000 VT Quad GbE, Streacom F7C, ESXi@USB
Campfire Audio Lyra II, HiFiMAN HE-400, Yamaha EPH-100, Audioengine D1, FiiO E10

Permalänk
Medlem
Skrivet av Haptic:

Hej, jag jobbar åt trafikverket och att automatiskt försöka boka prov är något vi aktivt försöker att blockera.
Jag vill uppmana er att inte hjälpa TS tills Moderatorer har hunnit stänga denna tråd.

"Automatiserad tidssökning
Det är inte tillåtet att använda någon form av program eller botar i bokningstjänsten som söker lediga tider per automatik."
https://www.trafikverket.se/korkort/boka-prov/

Hej igen!

Tack för tipsen men ber om ursäkt då jag inte hade en tanke på detta alls igår att det kanske inte var en så omtyckt idé rent lagligt (och även moraliskt kanske).
Är själv elev och jag tillsamms med ett gäng i samma "klass" ligger och försöker få tag i avbokningstider då det är ont om tider, men att avbokningar kommer in ibland.

Kommer lägga ned idén såklart och hålla mig uppdaterad som man ska och inget annat.

Ber om ursäkt om det var emot reglerna, var som sagt bara en spontanide på kvällskvisten 😊

Visa signatur

CITERA om du vill ha snabbt och garanterat svar!
| Windows 7 professional 64bit, linux arch | asrock Extreme4-M | Intel 3570K | Gigabyte 7950 3gb vram | Corsair vegance 8gb 1600mgz | intel 320 160 gb | In-Win fanqua | FSP 650W 80+ gold |

Permalänk
Medlem
Skrivet av simonw:

Det stora problemet med att boka uppkörning är ju att hela systemet i sig är helt värdelöst i praktiken. Folk bokar tider i förväg bara för att få en dead-line att jobba emot (lära sig köra bil), så det är omöjligt att få en tid i närtid utan det är fullt i flera månader. Folk avbokar sedan systematiskt när datum närmar sig för att de inte känner sig redo och flyttar fram tiden, så det finns hela tiden lediga tiden egentligen. Systemet är kasst och jag förstår att folk vill automatisera istället för att sitta och spamma F5 varje morgon mellan 07 och 08..

Var lite så min tanke var, men får fortsätta spamma f5 ett tag till

Visa signatur

CITERA om du vill ha snabbt och garanterat svar!
| Windows 7 professional 64bit, linux arch | asrock Extreme4-M | Intel 3570K | Gigabyte 7950 3gb vram | Corsair vegance 8gb 1600mgz | intel 320 160 gb | In-Win fanqua | FSP 650W 80+ gold |

Permalänk
Medlem
Skrivet av Haptic:

Hej, jag jobbar åt trafikverket och att automatiskt försöka boka prov är något vi aktivt försöker att blockera.
Jag vill uppmana er att inte hjälpa TS tills Moderatorer har hunnit stänga denna tråd.

"Automatiserad tidssökning
Det är inte tillåtet att använda någon form av program eller botar i bokningstjänsten som söker lediga tider per automatik."
https://www.trafikverket.se/korkort/boka-prov/

Jag förstår varför man inte vill att det ska gå att boka prov med hjälp av bottar/programvaror. Men jag har lite svårare att förstå varför man inte tillhandahåller ett API eller på något sätt kan "subscribe:a" för att få notiser om lediga tider inom sin region/sökområde. Vad är liksom egenvärdet med att alla som vill ha en tid måste gå in manuellt och kolla flera gånger om dagen?

Permalänk
Medlem
Skrivet av Haptic:

Tror lagen har en del att säga om avtalsbrott (eftersom TS bryter mot våra användarvilkor) men jag är inte någon jurist, så tänker inte uttala mig om eventuell laglighet eller inte.

Sant, och det har vi gjort med en hel del andra trådar

Rätt säker på att man inte kan avtala bort hur någon göra sin HTTP-frågan till en server

Säker är jag inte alls men låter helt sjukt i mina öron

Permalänk
Medlem
Skrivet av Blomman90:

Jag förstår varför man inte vill att det ska gå att boka prov med hjälp av bottar/programvaror. Men jag har lite svårare att förstå varför man inte tillhandahåller ett API eller på något sätt kan "subscribe:a" för att få notiser om lediga tider inom sin region/sökområde. Vad är liksom egenvärdet med att alla som vill ha en tid måste gå in manuellt och kolla flera gånger om dagen?

Jag förstår inte varför man inte ska kunna boka mha bottar? Vill man förebygga spam så är det rimliga att införa någon liten avgift för varje bokning, det tar också bort incitament att boka i förväg och sen flytta fram det några gånger.

Permalänk
Rekordmedlem
Skrivet av Blomman90:

Jag förstår varför man inte vill att det ska gå att boka prov med hjälp av bottar/programvaror. Men jag har lite svårare att förstå varför man inte tillhandahåller ett API eller på något sätt kan "subscribe:a" för att få notiser om lediga tider inom sin region/sökområde. Vad är liksom egenvärdet med att alla som vill ha en tid måste gå in manuellt och kolla flera gånger om dagen?

Missbruk och svarthandel, det har sålts tider av yrkeskriminella som bokat upp alla tider de kunnat för att sedan sälja dem på svartabörsen.

Det är många som vill få en uppkörningstid hos Trafikverket och väntetiden kan ofta vara riktigt, riktigt lång. En svart marknad har därför uppstått – där den som har extra tjock plånbok kan tränga sig före i kön.
https://teknikensvarld.se/nyheter/uppkorningstider-saljs-pa-s...

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem
Skrivet av skyw00lker:

Rätt säker på att man inte kan avtala bort hur någon göra sin HTTP-frågan till en server

Säker är jag inte alls men låter helt sjukt i mina öron

Hade det varit en öppen server så går ju inte det, inte så att man godkänner ett avtal genom att besöka en sida. Men eftersom man loggar in för att kunna utnyttja vissa tjänster så går det ju utmärkt att ha avtalsvillkor, som användaren måste gå med på för att skapa ett konto, som innebär att missbruk av tjänster innebär blockering.

Inte sjukt alls, mycket bra tom.

Permalänk
Medlem
Skrivet av pine-orange:

Jag förstår inte varför man inte ska kunna boka mha bottar? Vill man förebygga spam så är det rimliga att införa någon liten avgift för varje bokning, det tar också bort incitament att boka i förväg och sen flytta fram det några gånger.

Det kan jag mycket väl förstå varför man vill undvika. Man skulle i praktiken bli tvingad att gå via en mellanhand för att kunna få en tid, eftersom en bot kan boka en tid på under en sekund, snabbare än en vanlig människa kan ens öppna sin webbläsare.

Skrivet av mrqaffe:

Missbruk och svarthandel, det har sålts tider av yrkeskriminella som bokat upp alla tider de kunnat för att sedan sälja dem på svartabörsen.

Det är många som vill få en uppkörningstid hos Trafikverket och väntetiden kan ofta vara riktigt, riktigt lång. En svart marknad har därför uppstått – där den som har extra tjock plånbok kan tränga sig före i kön.
https://teknikensvarld.se/nyheter/uppkorningstider-saljs-pa-s...

Fast detta problem är ju inte samma sak som att underlätta för sökning av lediga tider. Det måste finnas en uppsjö med lösningar för att förhindra en och samma person att boka upp massvis med tider och sedan säljer dem vidare. Exempelvis genom att se över hur ofta en och samma person kan boka tider, eller se till att det inte går att byta person på den bokade tiden på ett sådant sätt som nu verkar göras.

Jag tycker att försvårande av sökning drabbar de "laglydiga" värre än de "lagvidriga"...

Permalänk
Medlem

Borde väl gå att scrapea med t.ex. powershell. Därefter söka igenom informationen man sparat.

& slutligen skicka iväg ett mail till dig själv.

edit. Märkte att någon på trafikverket varit här!

Äh gav så lite information ändå så låter det ligga kvar.

Fungerar säkert ändå inte pga inloggning osv.

Visa signatur

[IT-Dept]
Ryzen 1700 OC - 32 - 1070

Permalänk
Medlem
Skrivet av Blomman90:

Det kan jag mycket väl förstå varför man vill undvika. Man skulle i praktiken bli tvingad att gå via en mellanhand för att kunna få en tid, eftersom en bot kan boka en tid på under en sekund, snabbare än en vanlig människa kan ens öppna sin webbläsare.

Fast detta problem är ju inte samma sak som att underlätta för sökning av lediga tider. Det måste finnas en uppsjö med lösningar för att förhindra en och samma person att boka upp massvis med tider och sedan säljer dem vidare. Exempelvis genom att se över hur ofta en och samma person kan boka tider, eller se till att det inte går att byta person på den bokade tiden på ett sådant sätt som nu verkar göras.

Jag tycker att försvårande av sökning drabbar de "laglydiga" värre än de "lagvidriga"...

Skrivet av AllMessedUp:

Borde väl gå att scrapea med t.ex. powershell. Därefter söka igenom informationen man sparat.

& slutligen skicka iväg ett mail till dig själv.

edit. Märkte att någon på trafikverket varit här!

Äh gav så lite information ändå så låter det ligga kvar.

Fungerar säkert ändå inte pga inloggning osv.

Tack för tipsen men får tyvärr nöja mig med att kolla den manuella vägen, tråkigt att man inte kan prenumerera på lediga tider men lagen och reglerna är ju tyvärr som dom är, av ändå föreståliga själ.

Men är tycker också man borde kunnat prenumerera på tider till sig själv inom sitt område man kan tänkas åka till (i mitt fall 3 st).

Tack ändå för all input

Visa signatur

CITERA om du vill ha snabbt och garanterat svar!
| Windows 7 professional 64bit, linux arch | asrock Extreme4-M | Intel 3570K | Gigabyte 7950 3gb vram | Corsair vegance 8gb 1600mgz | intel 320 160 gb | In-Win fanqua | FSP 650W 80+ gold |

Permalänk
Medlem

Någon som kan hänvisa till en lag som förbjuder scraping med hjälp av en bot?

Vet inte riktigt hur länge man kan ha en aktiv session med bankid men det borde röra sig om ett par timmar. Med hjälp av en vpn switcher kan du komma runt att få ditt ip bannat.

Ska du göra det i python räcker med ett request till sidan i en while loop som roterar vpnen, och när sessionen löper ut så får du logga in på nytt då kan man sätta upp smtplib som skickar ett mail när det är dags. Inget avancerat med andra ord.

Visa signatur

AMD 7800X3D | ASUS TUF X670E-PLUS | Corsair Vengeance DDR5 32GB EXPO | ASUS TUF 4090 OC 24GB |
Noctua NH-U12A | Corsair 4000D | Corsair AX1200W | Steelseries Apex 7 | Steelseries Sensei Ten | ASUS VG35VQ

https://github.com/Mariusz89B

Permalänk
Medlem
Skrivet av Sh4d0wfi3nd:

Då har TS en mycket bra affärside framför sig!
Manuellt sitta och tidssöka och maila. Lön: 30k/månad plus förmåner låter väl rimligt?

Nog billigare att anlita en indisk click farm. Numera har de API: er så du gör ett anrop, sen sitter en person och löser captchan och sedan får du tillbaka token för att fortsätta, kostar några ören. Går säkert att göra med bankid också, givet att man gömma känslig data (är inte insatt i bank id flödet) eller litar på indierna. 😛