Skapa websida som hämtar data från annan websida

Permalänk
Medlem

Skapa websida som hämtar data från annan websida

Sitter och funderar på hur man kan göra en websida som läser in data från en annan websida och sen filtrerar ut det som användaren vill ha.
Tanken är att göra en mobil version som är lättläst av luftfartsverkets upper winds tabeller.
Som det är nu så måste man nästan ha en dator och även då är det svårläst.

Satt igår och gjorde en version som var lättare att läsa till excel men då krävs fortfarande dator.
Är på jobb nu och skriver detta från mobilen så jag kan inte säga hur "datasidan" är uppbyggd men jag gissar att det är väldigt basic.
http://www.lfv.se/MetInfo.asp?TextFile=windtemp.03-09.txt&Sub...
Är exempel på data sidan.

Vad behövs för att skapa ett script att hämta och hantera denna data?

Permalänk
Medlem

Det enda som krävs är grundläggande kunskap om programmering. Kan man grunderna i t.ex. Python eller Ruby tar det som högst en halvtimme att skriva ett script för att hämta ner och parsa den texten. Sen är det bara att spara ner det hela i någon databas som du sedan kopplar din websida till. Har ingen aning om hur ofta de uppdaterar datan, men det går ju säkert att ta reda på och sedan lägger du bara ett cronjob som hämtar ner den senaste datan någon minut efter att det uppdaterats.

Permalänk
Medlem

Kan inte Python eller Ruby, men kan en del andra språk så jag tror inte det ska vara några problem.

Måste man spara ner det till en databas? Dessa siffror uppdateras ganska ofta, så det optimala hade varit om man kan hämta nya var gång.
Vilket rekomenderas Python eller Ruby? Går det göra i bara HTML?

Permalänk
Medlem

Har du en webbserver du kan använda?

Visa signatur

- Archlinux -

Permalänk
Medlem

Ja, Har en NAS ståendes och ett webbhotel

Permalänk
Medlem

Vilka språk stöder webbhotellet?

Visa signatur

- Archlinux -

Permalänk
Medlem

Vet faktiskt inte.
Men det är www.one.com
Tror de stödjer de flesta språken

Permalänk
Medlem
Skrivet av Agonotheta:

Kan inte Python eller Ruby, men kan en del andra språk så jag tror inte det ska vara några problem.

Måste man spara ner det till en databas? Dessa siffror uppdateras ganska ofta, så det optimala hade varit om man kan hämta nya var gång.
Vilket rekomenderas Python eller Ruby? Går det göra i bara HTML?

Går inte att göra i bara HTML. Kanske att du kan göra det i Javascript på något fulsätt, men tror inte riktigt på den lösningen.
Självklart behöver du inte spara ner det i en databas som du inte vill och om din sida bara är tänkt att användas av dig själv och/eller några få andra så fungerar det säkert att dra ner datan varje gång. Dock misstänker jag att LFV blir sura efter ett tag om för många anrop kommer från dig samt att det tar betydligt mer kraft från din server att ladda ner och parsa varje gång istället för att göra det då och då och sedan leverera ur databasen. Om deras data uppdateras ofta kan du ju hämta ner din info en gång i minuten eller något sådant.

Spelar ingen roll vilket språk du skriver allt i, jag gav bara Python och Ruby som exempel då de båda brukar associeras dels vid webprogrammering samt även för just sådana här simpla små saker som att ladda ner text som ska parsas. Du kan säkert skriva något liknande i PHP, men jag är inte säker då jag inte själv använt mig av det.

Permalänk
Medlem

Ska titta lite på PHP.
Gogglade lite och såg att det verkade inte så svårt i PHP.

Jag tror inte LFV kommer märka att jag anropar lite då och då
Den sidan och de andra flygvädersidorna har nog några tusen anrop per dag ändå.
Alla piloter kollar minst METAR/TAF sen tror jag många kollar NOTAM Upper winds och resterande också.
Menmen. Min tanke är att göra det lättare för mig att läsa det på mobilen.

Funderade först på att göra en app till telefonen, men kom sen på att en websida är nog smidigare eftersom det funkar på alla telefoner.

Så här ser min excellösning ut, något i den stilen är vad jag är ute efter fast mycket enklare layout för att det snabbt ska gå att plocka fram på en telefon.
http://www.hellis.me/Winds2.zip
Måste tillåta data connections och sen starta macrot som laddar upp programet.

Permalänk
Medlem

Jag skulle nog göra en sida i PHP som helt enkelt hämtade hem sidan, parsade den och skrev ut datan så som du vill ha det. Väldigt enkelt i PHP och du slipper allt krångel med att cronjobba Python/Ruby-skript. Om du inte har fruktansvärt många requests på sidan så kommer det knappast att göra så stor skillnad, men om du har det så kan du ju istället spara ner datan i en snyggt formaterad XML-fil och läsa från den istället. Sen kollar du tidsstämpeln på XML-filen varje gång sidan laddas och om den är äldre än en viss tid så hämtar du hem datan på nytt och sparar om XML-filen.

Permalänk
Medlem

Eller så kontakter du sidan och frågar vänligt ifall de inte kan fixa detta eller om du får fixa detta åt dom mot betalning

Permalänk
Medlem

Hur gick det med det här?

Visa signatur

Do good. Be good. Repeat.

Permalänk
Medlem

Kolla up "web scriping" bibliotek till något språk du känner att du kan (vet ej om det finns till alla, men några iaf). Jag vet det finns till python, sedan som nämnt ovan borde det gå med Javascript (väldigt säker på att det ska gå (inte så populärt hos webbsidans ägare dock (då de är ofta en grund till phising sidor))).

Visa signatur

Смерть -это решение всех проблем. Нет человека - нет проблемы
Comp1: Ubuntu 16.04 Comp2: Arch Linux
Comp3: Ubuntu Server 16.04 Comp4: Centos 6.5
Comp5: Linux mint 16 Comp6: Raspberry pi (olika OS hela tiden)
Phone: Motorola Google Nexus 6

Permalänk

@asdfgh:
5 år gammal tråd

Permalänk
Rekordmedlem
Skrivet av TrueType:

Hur gick det med det här?

Är sånt här ens intressant/aktuellt idag då tex SMHI och YR har rådata man kan hämta direkt hos dem och använda till sina egna projekt ?

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem

@mrqaffe: Det är inte vädret jag vill åt, utan NOTAM, som skulle kunna bli läsbart på ett snyggt och lätt sätt med geografiska vyer. Till skillnad från som det är nu. NOTAM Sverige

Visa signatur

Do good. Be good. Repeat.

Permalänk
Medlem

De flesta myndigheter tillhandahåller väl öppna APIer man kan använda sig av?

Visa signatur

Stationär: Fractal Design Meshify 2 Compact, Ryzen 7 5700x, MSI MAG B550 Tomahawk, Kingston HyperX Fury 32GB 3600Mhz CL18, Sapphire Radeon RX 5700 Pulse, Kingston A2000 1TB (x2), Seasonic Focus GX 650W, Noctua NH-U14S

NAS: Fractal Design Define R5, Ryzen 3 1200AF, Asus Prime B450M-A, 32GB ECC DDR4 @ 2133Mhz, 5x WD Red 4TB (Raidz2), WD Red 2TB (stripe), TrueNAS 12.0

Permalänk
Rekordmedlem
Skrivet av TrueType:

@mrqaffe: Det är inte vädret jag vill åt, utan NOTAM, som skulle kunna bli läsbart på ett snyggt och lätt sätt med geografiska vyer. Till skillnad från som det är nu. NOTAM Sverige

Jag förstår inte riktigt vilken info du vill ha ut för det där var inget jag kan nått om men det borde gå att läsa ut infon via den sidan ganska enkelt och behandla den eftersom sidan bara verkar bestå av en textmassa i ett ganska strikt format, letade runt lite om info om ett api men de har kanske inget tillgängligt men det borde gå att läsa ner sidan med jämna mellanrum och filtrera fram rådata ganska enkelt bara med ett enkelt script.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem

@mrqaffe: Ja, precis så säger de föregående talarna också, därför frågade jag TS hur det gick för honom. Om han redan uppfunnit hjulet så behöver inte jag göra det igen liksom.

Visa signatur

Do good. Be good. Repeat.

Permalänk
Medlem
Skrivet av TrueType:

@mrqaffe: Det är inte vädret jag vill åt, utan NOTAM, som skulle kunna bli läsbart på ett snyggt och lätt sätt med geografiska vyer. Till skillnad från som det är nu. NOTAM Sverige

Och det duger inte med http://notaminfo.com/swedenmap?

Fast sidan du pekade på var en av dom mest lättparsade i världshistorien om man bara vill ha NOTAM. Innehåller precis ett pre-block och det har NOTAM texten.

Permalänk
Rekordmedlem
Skrivet av TrueType:

@mrqaffe: Ja, precis så säger de föregående talarna också, därför frågade jag TS hur det gick för honom. Om han redan uppfunnit hjulet så behöver inte jag göra det igen liksom.

Om du kollar när de senast var aktiva så ser du att det var ett tag sedan så du ksa kanske skicka privata meddelanden till dem och fråga.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem
Skrivet av aluser:

Och det duger inte med http://notaminfo.com/swedenmap?

Fast sidan du pekade på var en av dom mest lättparsade i världshistorien om man bara vill ha NOTAM. Innehåller precis ett pre-block och det har NOTAM texten.

EXAKT så ja! Tack! Att jag inte hittade den när jag sökte...

Skrivet av mrqaffe:

Om du kollar när de senast var aktiva så ser du att det var ett tag sedan så du ksa kanske skicka privata meddelanden till dem och fråga.

Fanken vad stöddig du var då, hah! Klart jag har koll på när de senast skrev, men det gör väl inte ämnet mindre intressant för det? Och hade jag inte skrivit här så hade jag ju inte fått svar av @aluser och då hade inte problemet varit löst. Sååååattehh...

Visa signatur

Do good. Be good. Repeat.