Interpolare dati meteo con GNU octave e gnuplot

**Borat** · 12/10/2008, 19:37

Originariamente Scritto da Borat

Riuscite a estrarre i dati anche da pagine HTML?

Originariamente Scritto da Controcorrente

octave lo permette ... vedrai che lo faranno ....

complimenti per il lavoro ...

Azz, questo Octave si può usare per estrarre dati da una pagina html contenente delle tabelle e magari salvarli in csv o tab-delimited o qualche altro diavolo di formato leggibile da software comuni come R o altri?

E' una vita che torco di denti perché non riesco a estrarre in automatico i dati dalle pagine Osmer-FVG e Arpav, devo studiarmi questa cosa...

**steva** · 13/10/2008, 10:03

Originariamente Scritto da steva

Esatto, octave lo permette ed è in programma anche questo.
Prima però volevamo sistemarlo in modo che gli si possa passare un qualsiasi file di testo..

Mi correggo, non è octave che permette di pescare i dati da tabelle html bensì perl con l'aiuto di wget/lyn..
Il quale fa il parsing del contenuto delle pagine utilizzando apposite regular expression (e' un po' un casino, purtroppo)..Appena il mio amico trova un pò di tempo, cercherà di spiegare a grandi linee queste cose sul suo sito..

Intanto a breve sono in arrivo altre importanti novità!

**dellork** · 13/10/2008, 12:49

Originariamente Scritto da steva

Intanto a breve sono in arrivo altre importanti novità!

Ciao steva!

**Controcorrente** · 13/10/2008, 13:00

Originariamente Scritto da steva

Mi correggo, non è octave che permette di pescare i dati da tabelle html bensì perl con l'aiuto di wget/lyn..
Il quale fa il parsing del contenuto delle pagine utilizzando apposite regular expression (e' un po' un casino, purtroppo)..Appena il mio amico trova un pò di tempo, cercherà di spiegare a grandi linee queste cose sul suo sito..

Intanto a breve sono in arrivo altre importanti novità!

guarda che anche octave lo fa davvero!
adesso non ho una macchina unix, ma su matlab la funzione si chiama urlread

con questa funzione leggi il contenuto di una pagina web e lo importi .... poi selezioni quello che interessa con la funzione findstr

io ad esempio ho estrapolato i dati in questa tabella http://www.firenzemeteo.it/toscana/m...ioggia_24h.htm (poi quando ho tempo aggiungo tutti i dati delle stazioni di quella mappa)

**Borat** · 13/10/2008, 21:17

Ragazzi,
una proposta un po' da hacker. Penso di non essere il solo interessato a prelevare dati meteo da siti vari, e quando sono in puro testo è tutto facile, ma quando sono pagine html le cose si complicano. Ad esempio se qualcuno vuole farsi un archivio con i dati di una stazione Arpav nelle pagine dei dati a 60 giorni ha qualche grattacapo da risolvere, tipo ricordarsi della cosa ogni 60 giorni e scaricare manualmente la pagina, convertirla in excel, fare copia-incolla eccetera.
A volte poi i dati ci sono ma sono enormente laboriosi da estrarre, come avviene con Wunderground: un anno si compone di 365 file diversi e poi è un macello assemblarli.

Che ne dite di aprire un tread (o più di uno) del tipo "prelevare dati meteo con procedure automatizzate e software gratuiti"?

Io potrei contribuire con un programma che scarica un'annata di una stazione (dati suborari) da wunderground aprendo una per una le singole pagine dei diversi giorni, immettendo solo 3 parametri: 1) l'indicativo della stazione, il periodo di riferimento, e il numero di giorni dei mesi coinvolti nel prelievo. Ho scaricato cose innominabili in questo modo. Questo programma gira sotto R, che è del tutto gratuito e tutti possono averlo.

Ho anche un programmino che scarica i dati suborari delle stazioni in tempo reale Arpav e uno per prelevari i daily.txt prodotti da VWS, ma questi due funzionano con Stata, che è commerciale e non molto diffuso negli ambienti extra-accademici.

**steva** · 13/10/2008, 22:36

Nella prossima release del programma ci sarà la possibilità di pescare i dati degli ultimi 60 giorni delle stazioni arpav..

Con esigue modifiche penso ci si possa fare l'archivio in automatico..

**steva** · 03/11/2008, 22:34

Altre novità!

Siamo riusciti a pescare i dati dal sito arpav e quindi ora le cartine colorate si possono fare in automatico anche con i dati arpav..

Ecco, tanto per gradire, le temperature minime del giorno 5 ottobre 2008..
Con la nuova release, si possono plottare le temperature minime, massime e medie, nonchè la pioggia..
Con dati presi in automatico sia dal sito arpav che da meteoveneto..

Per ora non metto l'archivio sul mio sito per motivi di spazio ma se volete qualche plot non dovete che chiedere..

Naturalmente i risultati con le 200 stazioni arpav sono decisamente migliori che con le 60 stazioni di meteoveneto..

**Borat** · 04/11/2008, 10:25

Originariamente Scritto da steva

Per ora non metto l'archivio sul mio sito per motivi di spazio ma se volete qualche plot non dovete che chiedere..

Se ti mando (o posto qui) le temperature minime assolute della rete Arpav del 2005 (che dovrebbero nella totalità dei casi corrispondere a quelle del favoloso 1° marzo 2005) riesci a farne un plot?

Eventualmente fammi sapere di che formato hai bisogno, se di un puro testo a larghezza fissa, un xls o che altro.

Bisogna vedere come escono certe escursioni di temperatura; se ricordo bene ci furono minime di -11/-13 in pianura, -20 a Castana, -19 a Feltre, da -28 a -35 in Cansiglio, -22 su tutti i passi dolomitici; una cosa da stampare a colori e incorniciare.

**steva** · 04/11/2008, 11:29

Originariamente Scritto da Borat

Se ti mando (o posto qui) le temperature minime assolute della rete Arpav del 2005 (che dovrebbero nella totalità dei casi corrispondere a quelle del favoloso 1° marzo 2005) riesci a farne un plot?

Eventualmente fammi sapere di che formato hai bisogno, se di un puro testo a larghezza fissa, un xls o che altro.

Bisogna vedere come escono certe escursioni di temperatura; se ricordo bene ci furono minime di -11/-13 in pianura, -20 a Castana, -19 a Feltre, da -28 a -35 in Cansiglio, -22 su tutti i passi dolomitici; una cosa da stampare a colori e incorniciare.

Mi va fuori scala..

Cmq se devo essere sincero per ora abbiamo solo automatizzato per pescare i dati in automatico sia dall'arpav che da meteoveneto ma non ci siamo minimamente preoccupati di poter prendere i dati da un qualsiasi foglio testo..

Nel week end provvediamo..
Mandami, se possibile, un file txt con i nomi delle stazioni arpav e a fianco i valori..
L'indirizzo email è luca.stevanato@gmail.com

**Borat** · 04/11/2008, 14:37

Originariamente Scritto da steva

Cmq se devo essere sincero per ora abbiamo solo automatizzato per pescare i dati in automatico sia dall'arpav che da meteoveneto ma non ci siamo minimamente preoccupati di poter prendere i dati da un qualsiasi foglio testo..

Grazie, appeno ho mezz'ora cerco nel pc dove cavolo ho quel file.

Cmq se non ho capito male hai un programma che legge la pagina Arpav delle max e min eccetera, in base al nome stazione (o al codice numerico di ciascuna stazione collocato fra parentesi) legge in un file tabella a parte le coordinate, e poi usa queste info per plottare ciascun dato di interesse nel punto appropriato, è così?

Il problema è che i nomi delle stazioni sono leggermente diversi da come compaiono del sito Arpav, e siccome i dati sono vecchiotti non c'è il codice stazione fra parentesi. Speriamo che si possa fare ugualmente.

In alternativa posso mandartelo come xls con una colonna per il nome stazione, due per le coordinate e una per la minima.

Se il programma è rigido e richiede proprio il formato Arpav la vedo laboriosa.

Adesso che ci penso, mi pare che nella pagina dati SCIA (da cui traggo i dati) ci sia il codice stazione, dovrei riuscire a metterlo tra parentesi e a concatenarlo al nome di ciascuna stazione...