Skapa websida som hämtar data från annan websida

Trädvy Permalänk
Medlem
Plats
Hemma
Registrerad
Dec 2006

Skapa websida som hämtar data från annan websida

Sitter och funderar på hur man kan göra en websida som läser in data från en annan websida och sen filtrerar ut det som användaren vill ha.
Tanken är att göra en mobil version som är lättläst av luftfartsverkets upper winds tabeller.
Som det är nu så måste man nästan ha en dator och även då är det svårläst.

Satt igår och gjorde en version som var lättare att läsa till excel men då krävs fortfarande dator.
Är på jobb nu och skriver detta från mobilen så jag kan inte säga hur "datasidan" är uppbyggd men jag gissar att det är väldigt basic.
http://www.lfv.se/MetInfo.asp?TextFile=windtemp.03-09.txt&Sub...
Är exempel på data sidan.

Vad behövs för att skapa ett script att hämta och hantera denna data?

Trädvy Permalänk
Medlem
Plats
Sverige
Registrerad
Okt 2007

Det enda som krävs är grundläggande kunskap om programmering. Kan man grunderna i t.ex. Python eller Ruby tar det som högst en halvtimme att skriva ett script för att hämta ner och parsa den texten. Sen är det bara att spara ner det hela i någon databas som du sedan kopplar din websida till. Har ingen aning om hur ofta de uppdaterar datan, men det går ju säkert att ta reda på och sedan lägger du bara ett cronjob som hämtar ner den senaste datan någon minut efter att det uppdaterats.

Trädvy Permalänk
Medlem
Plats
Hemma
Registrerad
Dec 2006

Kan inte Python eller Ruby, men kan en del andra språk så jag tror inte det ska vara några problem.

Måste man spara ner det till en databas? Dessa siffror uppdateras ganska ofta, så det optimala hade varit om man kan hämta nya var gång.
Vilket rekomenderas Python eller Ruby? Går det göra i bara HTML?

Trädvy Permalänk
Medlem
Plats
Uppsala
Registrerad
Sep 2010

Har du en webbserver du kan använda?

- Archlinux -

Trädvy Permalänk
Medlem
Plats
Hemma
Registrerad
Dec 2006

Ja, Har en NAS ståendes och ett webbhotel

Trädvy Permalänk
Medlem
Plats
Uppsala
Registrerad
Sep 2010

Vilka språk stöder webbhotellet?

- Archlinux -

Trädvy Permalänk
Medlem
Plats
Hemma
Registrerad
Dec 2006

Vet faktiskt inte.
Men det är www.one.com
Tror de stödjer de flesta språken

Trädvy Permalänk
Medlem
Plats
Sverige
Registrerad
Okt 2007
Skrivet av Agonotheta:

Kan inte Python eller Ruby, men kan en del andra språk så jag tror inte det ska vara några problem.

Måste man spara ner det till en databas? Dessa siffror uppdateras ganska ofta, så det optimala hade varit om man kan hämta nya var gång.
Vilket rekomenderas Python eller Ruby? Går det göra i bara HTML?

Går inte att göra i bara HTML. Kanske att du kan göra det i Javascript på något fulsätt, men tror inte riktigt på den lösningen.
Självklart behöver du inte spara ner det i en databas som du inte vill och om din sida bara är tänkt att användas av dig själv och/eller några få andra så fungerar det säkert att dra ner datan varje gång. Dock misstänker jag att LFV blir sura efter ett tag om för många anrop kommer från dig samt att det tar betydligt mer kraft från din server att ladda ner och parsa varje gång istället för att göra det då och då och sedan leverera ur databasen. Om deras data uppdateras ofta kan du ju hämta ner din info en gång i minuten eller något sådant.

Spelar ingen roll vilket språk du skriver allt i, jag gav bara Python och Ruby som exempel då de båda brukar associeras dels vid webprogrammering samt även för just sådana här simpla små saker som att ladda ner text som ska parsas. Du kan säkert skriva något liknande i PHP, men jag är inte säker då jag inte själv använt mig av det.

Trädvy Permalänk
Medlem
Plats
Hemma
Registrerad
Dec 2006

Ska titta lite på PHP.
Gogglade lite och såg att det verkade inte så svårt i PHP.

Jag tror inte LFV kommer märka att jag anropar lite då och då
Den sidan och de andra flygvädersidorna har nog några tusen anrop per dag ändå.
Alla piloter kollar minst METAR/TAF sen tror jag många kollar NOTAM Upper winds och resterande också.
Menmen. Min tanke är att göra det lättare för mig att läsa det på mobilen.

Funderade först på att göra en app till telefonen, men kom sen på att en websida är nog smidigare eftersom det funkar på alla telefoner.

Så här ser min excellösning ut, något i den stilen är vad jag är ute efter fast mycket enklare layout för att det snabbt ska gå att plocka fram på en telefon.
http://www.hellis.me/Winds2.zip
Måste tillåta data connections och sen starta macrot som laddar upp programet.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Dec 2003

Jag skulle nog göra en sida i PHP som helt enkelt hämtade hem sidan, parsade den och skrev ut datan så som du vill ha det. Väldigt enkelt i PHP och du slipper allt krångel med att cronjobba Python/Ruby-skript. Om du inte har fruktansvärt många requests på sidan så kommer det knappast att göra så stor skillnad, men om du har det så kan du ju istället spara ner datan i en snyggt formaterad XML-fil och läsa från den istället. Sen kollar du tidsstämpeln på XML-filen varje gång sidan laddas och om den är äldre än en viss tid så hämtar du hem datan på nytt och sparar om XML-filen.

Trädvy Permalänk
Medlem
Registrerad
Apr 2009

Eller så kontakter du sidan och frågar vänligt ifall de inte kan fixa detta eller om du får fixa detta åt dom mot betalning

Trädvy Permalänk
Medlem
Plats
Växjö
Registrerad
Mar 2012

Hur gick det med det här?

Do good. Be good. Repeat.

Trädvy Permalänk
Medlem
Registrerad
Sep 2009

Kolla up "web scriping" bibliotek till något språk du känner att du kan (vet ej om det finns till alla, men några iaf). Jag vet det finns till python, sedan som nämnt ovan borde det gå med Javascript (väldigt säker på att det ska gå (inte så populärt hos webbsidans ägare dock (då de är ofta en grund till phising sidor))).

Смерть -это решение всех проблем. Нет человека - нет проблемы
Comp1: Ubuntu 16.04 Comp2: Arch Linux
Comp3: Ubuntu Server 16.04 Comp4: Centos 6.5
Comp5: Linux mint 16 Comp6: Raspberry pi (olika OS hela tiden)
Phone: Motorola Google Nexus 6

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Feb 2012

@asdfgh:
5 år gammal tråd

Trädvy Permalänk
Rekordmedlem
Plats
Salstad
Registrerad
Feb 2009
Skrivet av TrueType:

Hur gick det med det här?

Är sånt här ens intressant/aktuellt idag då tex SMHI och YR har rådata man kan hämta direkt hos dem och använda till sina egna projekt ?

Ryzen 5 2400G, Asus ROG STRIX B350-F Gaming, 500GB Samsung 970EVO NVMe M.2 och en väldig massa masslagring. Seasonic Focus+ Gold 650W, Antec P 180 med Schyte o Sharkoon fläktar via en t-balancer, Tittar på en Acer ET430Kbmiippx 43" 4K
Främre ljudkanalerna återges via Behringer DCX2496, högtalare Truth B3031A, Truth B2092A Har också Oscilloskop, mätmikrofon och en Colorimeter.

Trädvy Permalänk
Medlem
Plats
Växjö
Registrerad
Mar 2012

@mrqaffe: Det är inte vädret jag vill åt, utan NOTAM, som skulle kunna bli läsbart på ett snyggt och lätt sätt med geografiska vyer. Till skillnad från som det är nu. NOTAM Sverige

Do good. Be good. Repeat.

Trädvy Permalänk
Medlem
Plats
Sundsvall
Registrerad
Maj 2003

De flesta myndigheter tillhandahåller väl öppna APIer man kan använda sig av?

Stationär: FD Define Nano S, AMD R5 1600, Biostar X370GTN, G-Skill Ripjaws V 16GB 3600Mhz @ 3200Mhz CL16, Radeon RX 570, Samsung 850 EVO 1TB, Corsair SF450, Arctic Freezer 33
HTPC: In-Win BP671, AMD Athlon 5350, Asus AM1I-A, Geforce GT 710, 4GB 1600Mhz, Corsair Force LS 60GB, One for all UCR7960 (+ Flirc)
NAS: HP Proliant N54L, 2x WD Red 2TB (Raid 1), WD Green 2TB, FreeNAS 11

Trädvy Permalänk
Rekordmedlem
Plats
Salstad
Registrerad
Feb 2009
Skrivet av TrueType:

@mrqaffe: Det är inte vädret jag vill åt, utan NOTAM, som skulle kunna bli läsbart på ett snyggt och lätt sätt med geografiska vyer. Till skillnad från som det är nu. NOTAM Sverige

Jag förstår inte riktigt vilken info du vill ha ut för det där var inget jag kan nått om men det borde gå att läsa ut infon via den sidan ganska enkelt och behandla den eftersom sidan bara verkar bestå av en textmassa i ett ganska strikt format, letade runt lite om info om ett api men de har kanske inget tillgängligt men det borde gå att läsa ner sidan med jämna mellanrum och filtrera fram rådata ganska enkelt bara med ett enkelt script.

Ryzen 5 2400G, Asus ROG STRIX B350-F Gaming, 500GB Samsung 970EVO NVMe M.2 och en väldig massa masslagring. Seasonic Focus+ Gold 650W, Antec P 180 med Schyte o Sharkoon fläktar via en t-balancer, Tittar på en Acer ET430Kbmiippx 43" 4K
Främre ljudkanalerna återges via Behringer DCX2496, högtalare Truth B3031A, Truth B2092A Har också Oscilloskop, mätmikrofon och en Colorimeter.

Trädvy Permalänk
Medlem
Plats
Växjö
Registrerad
Mar 2012

@mrqaffe: Ja, precis så säger de föregående talarna också, därför frågade jag TS hur det gick för honom. Om han redan uppfunnit hjulet så behöver inte jag göra det igen liksom.

Do good. Be good. Repeat.

Trädvy Permalänk
Medlem
Registrerad
Apr 2013
Skrivet av TrueType:

@mrqaffe: Det är inte vädret jag vill åt, utan NOTAM, som skulle kunna bli läsbart på ett snyggt och lätt sätt med geografiska vyer. Till skillnad från som det är nu. NOTAM Sverige

Och det duger inte med http://notaminfo.com/swedenmap?

Fast sidan du pekade på var en av dom mest lättparsade i världshistorien om man bara vill ha NOTAM. Innehåller precis ett pre-block och det har NOTAM texten.

Trädvy Permalänk
Rekordmedlem
Plats
Salstad
Registrerad
Feb 2009
Skrivet av TrueType:

@mrqaffe: Ja, precis så säger de föregående talarna också, därför frågade jag TS hur det gick för honom. Om han redan uppfunnit hjulet så behöver inte jag göra det igen liksom.

Om du kollar när de senast var aktiva så ser du att det var ett tag sedan så du ksa kanske skicka privata meddelanden till dem och fråga.

Ryzen 5 2400G, Asus ROG STRIX B350-F Gaming, 500GB Samsung 970EVO NVMe M.2 och en väldig massa masslagring. Seasonic Focus+ Gold 650W, Antec P 180 med Schyte o Sharkoon fläktar via en t-balancer, Tittar på en Acer ET430Kbmiippx 43" 4K
Främre ljudkanalerna återges via Behringer DCX2496, högtalare Truth B3031A, Truth B2092A Har också Oscilloskop, mätmikrofon och en Colorimeter.

Trädvy Permalänk
Medlem
Plats
Växjö
Registrerad
Mar 2012
Skrivet av aluser:

Och det duger inte med http://notaminfo.com/swedenmap?

Fast sidan du pekade på var en av dom mest lättparsade i världshistorien om man bara vill ha NOTAM. Innehåller precis ett pre-block och det har NOTAM texten.

EXAKT så ja! Tack! Att jag inte hittade den när jag sökte...

Skrivet av mrqaffe:

Om du kollar när de senast var aktiva så ser du att det var ett tag sedan så du ksa kanske skicka privata meddelanden till dem och fråga.

Fanken vad stöddig du var då, hah! Klart jag har koll på när de senast skrev, men det gör väl inte ämnet mindre intressant för det? Och hade jag inte skrivit här så hade jag ju inte fått svar av @aluser och då hade inte problemet varit löst. Sååååattehh...

Do good. Be good. Repeat.