Diskutera Web scraping på Sweclockers?

Det går att gå runt CORS t.ex med userscripts eller köra via en server med t.ex NodeJS då kan du scrapa så mycket data du vill på din egen maskin.

So why don’t attackers ignore the Access-Control-Allow-Origin header? Because it doesn’t get them anything. If I’m forming an HTTP request with CuRL, all the information I’m sending to the server is already known to me, and everything I’m accessing I already had access to. What the attacker really wants is for the victim’s browser to relinquish some of the information it has about the victim.

Jag har kikat på några videos nu om web scraping och det verkar vara Puppeteer i NodeJS som gäller för enkelhetens skull. Med tanke på gråzonen med web scraping så är jag förbluffad över att det finns så tillgängligt "öppet i det fria". Mycket "fulkod" ligger väl på mörka webbens hemliga hörn?

Nu har jag inte lärt mig något som serverdelen inom NodeJS (Express, NestJS, m.fl.) så jag har ingen aning om hur jag ska få ut data till klienten efter att index.js-filen webbskrapat med Puppeteer. När andra året i min utbildning börjar nu i augusti så kommer vi igång med serverdelen i NodeJS, dock tror jag det blir PHP Laravel först. Då måste cURL användas istället? 🤔

Det jag tänker mig är att om jag kan få igång en simpel NodeJS-server som "lyssnar" (även om det bara är i localhost först) efter REST API-anrop så kör den sin Puppeteer-grej och skickar sedan tillbaka webbskrapad data som JSON-data vid sin 200-responskod? Då kan jag på klientsidan bara använda simpel GET-fetch vilket jag redan förstår mig på!

Mvh,
WKL.

Gällande NodeJS så måste jag lista ut hur jag på motsvarande sätt i den "lyssnande" servern skickar tillbaka JSON-data likt `echo json_encode($scrapData);` i PHP-varianten av ett REST API. Jag vet alltså inte hur jag skickar en 200-responskod med JSON-inbakat i responsen då jag inte pysslat med JS-baserade webbservrar ännu!

Detta StackOverflow-svar är förvisso 9 år gammalt: https://stackoverflow.com/questions/19696240/proper-way-to-re... Men det verkar nämna något om att `res.json(scrapData)`; bör kunna räcka där då JSON-omvandlad data lagras i `scrapData`. Eller har svarens utgångsdatum utgått?

Kikar jag här: https://www.geeksforgeeks.org/how-to-return-json-using-node-j... så verkar det räcka med res.json(); efter att man installerat Express-paketet:

// Requiring express in our server
const express = require('express');
const app = express();
  
// Defining get request at '/' route
app.get('/', function(req, res) {
  // PERFORM PUPPETEER MAGIC BELOW HERE

  // THEN RETURN STORED JSON DATA
  res.json(scrapData);
  // Line above should be wrapped inside of the Puppeteer async function?? 🤔
});

// Setting the server to listen at port 3000
app.listen(3000, function(req, res) {
  console.log("Server is running at port 3000");
});

Och då ska jag alltså bara anropa localhost:3000 med ett simpelt GET-fetch på klientsidan?

Mvh,
WKL.

Gällande NodeJS så måste jag lista ut hur jag på motsvarande sätt i den "lyssnande" servern skickar tillbaka JSON-data likt `echo json_encode($scrapData);` i PHP-varianten av ett REST API. Jag vet alltså inte hur jag skickar en 200-responskod med JSON-inbakat i responsen då jag inte pysslat med JS-baserade webbservrar ännu!

Detta StackOverflow-svar är förvisso 9 år gammalt: https://stackoverflow.com/questions/19696240/proper-way-to-re... Men det verkar nämna något om att `res.json(scrapData)`; bör kunna räcka där då JSON-omvandlad data lagras i `scrapData`. Eller har svarens utgångsdatum utgått?

Kikar jag här: https://www.geeksforgeeks.org/how-to-return-json-using-node-j... så verkar det räcka med res.json(); efter att man installerat Express-paketet:

// Requiring express in our server
const express = require('express');
const app = express();
  
// Defining get request at '/' route
app.get('/', function(req, res) {
  // PERFORM PUPPETEER MAGIC BELOW HERE

  // THEN RETURN STORED JSON DATA
  res.json(scrapData);
  // Line above should be wrapped inside of the Puppeteer async function?? 🤔
});

// Setting the server to listen at port 3000
app.listen(3000, function(req, res) {
  console.log("Server is running at port 3000");
});

Och då ska jag alltså bara anropa localhost:3000 med ett simpelt GET-fetch på klientsidan?

Mvh,
WKL.

h2:Xbox Series-konsolerna säljer betydligt sämre än Playstation 5
h2:Meta ska fylla Twitters tomrum med Threads
h2:Windows-uppdateringar kan sänka SSD-prestanda
h2:Snabbtest: PCI Express 4.0 mot PCI Express 3.0 med Geforce RTX 4060
h2:Windows 12 kan få svävande aktivitetsfält
h2:Ubisoft hissar seglen – Assassin's Creed: Black Flag aktuell för remake
h2:Nothing: "Telefoner var bättre förr"
h2:IMY: "Svenska bolag måste sluta använda Google Analytics"
h2:Snabbkoll: Har du fler än en lagringsenhet i din dator?
h2:Geforce GTX 1650 fortsatt i topp för Steam-användare
h2:Test: Gigabyte M28U – prisvärd och kompetent bildskärm med 4K UHD och 144 Hz
h2:Strömkontakten 12VHPWR utdömd – ersätts med "12V-2x6"
h2:AI designade processor – ”första steget mot självförbättrande maskiner”
h2:AMD missar egen deadline för optimeringsfunktionen HYPR-RX
h2:Är lösenordshanteraren Proton Pass något att satsa på?
h2:Quiz: Kan du gissa spelmusiken?
h2:Asus föreslår grafikkort med SSD-platser
h2:Helgsnack: Vilken teknik följer med på semestern?
h2:Valve nobbar spel med AI-genererat innehåll på Steam
h2:Twitter stryper antalet inlägg användare kan läsa
h2:Asus fortsätter med maxad Zenfone för enhandsanvändare
h2:AMD avtäcker Ryzen 5 5600X3D – sex kärnor och staplad cache
h2:Krönika: Är det roligare att fylla spelbiblioteket än att spela?
h2:Stilfulla hörnor belönas med Fractal Designs Mini ITX-chassi Terra
h2:Test: MSI Geforce RTX 4060 Ventus 2X OC – bra prestanda vid 1080p men medioker kylare
h2:Obefintlig försäljning bekräftar svalt intresse för Geforce RTX 4060
h2:Micron släpper GDDR7-minne tidigt år 2024
h2:Nvidia skruvar upp priset på Geforce RTX 4000-serien i Sverige
h2:SSD eller HDD – vad är bäst att lagra på år 2023?
h2:Valve drar igång sommarrea – lägre pris på Steam Deck
h2:Meta ska konkurrera med App Store och Play-butiken i EU
h2:Youtube testar aggressiv taktik mot annonsblockerare
h2:En väska kommer lastad med RGB
h2:Nu kan du testa Copilot och andra nyheter i Windows 11
h2:Endast en av fem svenskar använder VPN-tjänst
h2:Enkortsdatorn Arduino Uno uppdateras – ARM-krets och Wifi
h2:Priskoll: Få Geforce RTX 4060 under 4 000 kronor i Sverige
h2:Paypal vill ersätta lösenord med passkeys
h2:Intel Arc får prestandalyft på 300 procent i Assassin's Creed: Unity
h2:Inet frågar SweClockers: Vad skulle du vilja förbättra på Inet.se?
h2:Sony läcker uppgifter i rättegång – så stort är Call of Duty
h2:Nvidia: "Energieffektiva RTX 4060 sparar hundralappar"
h2:Veckans fråga: Vilket operativsystem föredrar du?
h2:Bilar med smarta inslag ger fler dumma fel
h2:Krönika: Teknikutvecklingen avstannar – men det gör också uppgraderingsbehovet
h2:Noctua släpper monteringsram för "deliddade" Ryzen 7000-processorer
h2:Nvidias nästa arkitektur för Geforce kommer år 2025
h2:Microsoft vill strömma Windows från molnet
h2:Starfield utvecklas med AMD:s välsignelse
h2:Vilket är ditt dyraste datormisstag?

Om jag då upptäcker i Network att en av inladdade resurserna är en JSON-fil som innehåller data som jag vill använda mig av så kan jag ju dock inte göra samma API-anrop med samma parametrar för den lär väl ha striktare kontroll än enbart API-token? Jag tänker att API:t kontrollerar liknande CORS här. Kan man däremot exempelvis med Puppeteer läsa in sidan i "den simulerade webbläsaren" och då ta en kopia av den inladdade JSON-filen och sedan hantera den?

Mvh,
WKL.

Tack för startkoden!

Hur deployar/sjösätter man vanligen NodeJS-baserade JS-servrar? Jag tänkte investera i Inleed snart och i deras "Guider" (https://login.inleed.net/helpcenter/376/skapa-en-nodejs-appli...) så verkar det gå att skapa en NodeJS-applikation:
<Uppladdad bildlänk>

Men jag har ingen aning om det faktiskt innebär att jag kan ha så att när man då besöker webb"Application URL" så körs den endast vid besök likt PHP-kod?

Jag vill ju att den alltid ska vara i "Listening on PORT X - Server running..."-läge så att den kan sköta sina intervallanrop i sitt webbskrapande.

Tolkar jag rätt att Vercel erbjuder NodeJS-baserade JS-serverkod att kunna köras 24/7 så att den kan sköta automatiskt webbskrapande istället för att bara köras vid anrop som med PHP-kod?

Detta är en liten detalj som jag inte greppat ännu inom Webbutveckling: sjösättning av färdiga webbplatser med olika slags serverkonfigurationer och allt som det innebär i praktiken!

Mvh,
WKL.

http.createServer(function (req, res) {
res.writeHead(200, {'Content-Type': 'text/html'});
res.end('Hello World!');
}).listen(8080);
[/code]

Om jag förstått rätt så erbjuder Puppeteer förmågan att kunna läsa in webbsidor som om den renderat först DOM och sedan renderat ut ytterligare genom att kört JS-skripten som finns på webbplatsen ifråga?

Mvh,
WKL.

User-agent: *
Allow: /

User-agent: Googlebot-News
Allow: /$
Allow: /nyhet
Allow: /arkiv/typ/nyhet
Allow: /sitemap/news
Disallow: /

User-agent: magpie-crawler
Disallow: /

sitemap: https://www.sweclockers.com/sitemap

Ursäkta om jag är påstridig nu!

Om jag skapar server.js i VSCode med följande startkod och sedan kör `node server.js` i terminalen så startas en server som kommer att skriva ut Hello World! i klienten om jag besöker localhost:8080:

var http = require('http');

http.createServer(function (req, res) {
  res.writeHead(200, {'Content-Type': 'text/html'});
  res.end('Hello World!');
}).listen(8080);

Och jag känner till att console.log() som körs i NodeJS inte skriver ut något i klientens konsol utan endast på serversidans konsol.

Samtidigt skulle jag kunna ha asynkron kod med exempelvis setTimeout som inom särskilda intervaller kör Puppeteer-kod för att webbskrapa. Men så fort jag stänger ned VSCode så har jag också stängt ned "VSCode-drivna NodeJS-servern". Jag vill ju ha igång den som om den var igång i VSCode dygnet runt så den kan sköta både CRUD-anrop såväl som asynkron kod i bakgrunden.

Det jag undrar är vad motsvarande servermiljön där samma server.js-fil är igång dygnet runt ser ut hos typiska webbleverantörer. Jag undrar om jag nästan skulle behöva en egen dedikerad server som då är igång dygnet runt där jag då kan initiera och på liknande vis köra igång `node server.js`?

Liknande har jag funderat kring MySQL-databaser där jag inte vet hur jag skulle sjösätta en SQL-server (utöver klassiska XAMPP) som faktiskt "lever ett liv" utöver CRUD-anrop. Exempelvis skulle databasen kunna säkerhetskopiera sig själv under nattetid och då måste den såklart vara igång dygnet runt så den har koll på klockan, alternativt något annat som är igång som startar igång servern vid rätt tid.

Jag har ingen aning om hur sådant här sjösätts i praktiken och jag tvekar på att distansutbildningen jag går kommer att ge konkreta svar på detta. Det känns nästan som om det är "Branschhemligheter" som man förväntas veta innan man ens fått sin första provanställning och/eller praktikplats!

Dessa är detaljfrågor som jag inte hittar något tillräckligt svar på när jag googlar och det gör mig smått frustrerad.

Webbhosting kommer jag att investera i inom kort för jag behöver det inför nästa läsår i Webbutvecklingsprogramutbildningen då jag fått nog på studentservern som tar 2 minuter att ansluta till varje gång och som disconnectar en om man varit inaktiv i knappa 15 sekunder och så tar det samma tid igen att återansluta. Samma webbhosting kommer jag nog också nyttja för den kommande nätbaserade verksamheten!

Jag vill bara helt enkelt veta allt det minimala man behöver veta i alla steg i Webbutvecklingsprocessen, vilket jag inte gör ännu men kommer att göra inom tid. Ingen behöver ge mig svaren utan jag har full förståelse att jag måste lära mig allt på egen hand. Det är bara smått frustrerande att vissa saker inte verkar finnas lättfunna svar på än så länge!

Mvh,
WKL.

Om jag förstått rätt så erbjuder Puppeteer förmågan att kunna läsa in webbsidor som om den renderat först DOM och sedan renderat ut ytterligare genom att kört JS-skripten som finns på webbplatsen ifråga?

Mvh,
WKL.

Gällande ditt fråga kring etik tidigare så kan man ju påpeka att ex SweC har en robots.txt fil med följande innehåll:
Intressant att Google får bara röra vissa delar, magpie inga alls och resterande vad de vill (såvida jag inte missförstår).

Precis, tråden fick mig att titta på den tidigare gällande något jag tänkt på ett tag. Kanske dags att uppdatera den.