Modelli stagionali sun-based: proiezioni copernicus!

[a.negrello]

Probabilmente non è il td adatto, ma sicuramente un qualche aggancio ce l'ha. L'AI credo che possa dare qualche vantaggio sulla stabilità dei modelli ma non forse sullo skill quando ci siano delle situazioni per così dire inusuali. Per forza di cose il modello basato sulla AI tenderà a mediare tra le varie possibili soluzioni risultando forse un pò più conservativo rispetto agli altri modelli e forse il suo limite potrebbe essere questo. Su tempi di una settimana dieci giorni penso che potrebbe avere senz'altro qualche vantaggio. Qui però faccio previsioni stagionali e chiaramente è tutto un altro paio di maniche. Intanto nel mio caso specifico sarebbe più opportuno parlare di "small data" anzichè di "big data" (tra l'altro in tutta onestà non saprei come gestirli! ). Credo che nel caso delle previsioni stagionali, sia il miglior approccio, perchè si cerca di simulare un sistema non ancora del tutto conosciuto (il nome del td è indicativo in proposito). Inoltre basandosi sulla statistica e sui singoli scenari (che alla fine non sono molti), la strada è quella di semplificare all'osso il quadro, al contrario dell'approccio deterministico o simil-deterministico (nel caso dell'AI) dove la risoluzione di griglia è importante.

Sui GM per la previsione meteo, quelli quindi basati essenzialmente sulla fisica e che prendono in considerazione le componenti più piccole del sistema (o su qualcosa che lo simula nel caso dell'AI) permango dell'idea che qualsiasi sia la loro prestazione e la loro potenza di calcolo, oltre una certa distanza temporale, si scontreranno sempre con le falle conoscitive insite nel sistema stesso. In particolare, anche ammettendo che un giorno sia avrà una totale conoscenza del sistema nella sua interezza, siccome la terra non è un sistema chiuso, gli effetti esterni al sistema saranno, per forza di cose, inconoscibili ancora a lungo. Per cui, ci sono dei limiti oggettivi per così dire invalicabili, ciò non toglie che miglioramenti anche sensibili potranno senz'altro esserci per i GM basati sull'AI, almeno nel range temporale medio.

Possibile che vengano fuori modelli ibridi, anzi probabile. Siamo agli albori vedremo come va. Comunque se c e un thread piu consono per questo messaggio, non c e problema me lo spostate, non mi sembrava valesse la pena crearne uno ad hoc solo per questo.
Pero che ecmwf ha creato il suo primo modello AI, si mi sembra valga la pena condividerlo. Primo piccolo passo.

[Copernicus64]

Possibile che vengano fuori modelli ibridi, anzi probabile. Siamo agli albori vedremo come va. Comunque se c e un thread piu consono per questo messaggio, non c e problema me lo spostate, non mi sembrava valesse la pena crearne uno ad hoc solo per questo.
Pero che ecmwf ha creato il suo primo modello AI, si mi sembra valga la pena condividerlo. Primo piccolo passo.

Perchè no, credo che potresti aprire un thread specifico su questo argomento non certo secondario. Come ti dicevo gli approcci sono molto diversi, anche se per esempio avevo provato ad utilizzare un pò di machine learning tempo fa per la selezione del modello, ma siamo su due pianeti distinti. In ogni caso, puoi benissimo lasciare qui il tuo messaggio, perchè comunque credo apra spunti di riflessione. Non a caso già da un pò ci ho riflettuto io stesso sulla cosa. Ho anche seguito alcuni seminari fatti dagli addetti ai lavori ma poi ho capito che poco potevo aggiungere attraverso quella strada a quello che stavo facendo (in ogni caso problemi tecnici e di calcolo oltre le capacità mie e del PC).

[Copernicus64]

Salve a tutti!

Ben ritrovati per le previsioni primaverili copernicus64. Come di consueto sto utilizzando varie tipologie di modelli che poi integro in un unica previsione. Nella striscia in alto di ogni slide sono rappresentati i modelli che utilizzano dati a partire dal 1950, mentre nella striscia in basso modelli che utilizzano dati molto recenti (dal 2010 in poi caratterizzati dalla sigla “10”). Da sinistra a destra invece sono rappresentati i modelli emisferici (Modm), gli emisferici integrati con effetti regionali (modmint) e infine i regionali (eumodm) . In tutto sono 6 plot e ogni plot può dare informazioni sulla tipologia di tempo che potrebbe maggiormente verificarsi in quel dato mese o nel corso della stagione. Nella quarta slide, dopo i plot relativi ai 3 mesi della primavera, sono riportate le Ens di ogni mese, ovvero la media di tutti i modelli, assieme a una breve previsione testuale. Quindi la quinta slide riporta le tipologie medie di circolazione fornite dai vari modelli per l’intera primavera. La sesta, infine riporta una previsione testuale per l’intera stagione con le relative Ens.

Qualcosa di interessante viene soprattutto dai modelli basati su dati recenti, i quali propongono una primavera piuttosto movimentata. Gli altri modelli stagionali sembrano un po' ripetere pattern ahimè già visti nel recente passato...buono il fatto però che questa prima parte del mese e relative previsioni dei GM, sembrano avvalorare maggiormente i modelli “recenti”… occhio quindi!

...anche se un po' di apprensione c’è, dato che questi ultimi presentano uno scarso “rodaggio”!

Un saluto e a presto per verifiche e aggiornamenti!

Permettetemi di far notare le ottime performances finora dei modelli cop64 anche per questa primavera . Almeno per il momento sono stati ben inquadrati sia marzo che aprile e in particolare le fasi molto diverse per quest'ultimo mese con le possibili fasi di ritorno di freddo invernale correttamente pronosticate!

Questo naturalmente quando le proiezioni ufficiali di copernicus davano un aprile totalmente caldo, con un pattern che almeno sulla carta non lasciava adito a dubbi!

[Fabio68]

Permettetemi di far notare le ottime performances finora dei modelli cop64 anche per questa primavera . Almeno per il momento sono stati ben inquadrati sia marzo che aprile e in particolare le fasi molto diverse per quest'ultimo mese con le possibili fasi di ritorno di freddo invernale correttamente pronosticate!

Questo naturalmente quando le proiezioni ufficiali di copernicus davano un aprile totalmente caldo, con un pattern che almeno sulla carta non lasciava adito a dubbi!

scusa Copernicus, ma vedo aprile e maggio 2023
è un refuso? oppure mi sono perso qualcosa durante il thread?

[Copernicus64]

scusa Copernicus, ma vedo aprile e maggio 2023
è un refuso? oppure mi sono perso qualcosa durante il thread?

Ciao Fabio, ovviamente è un refuso! Strano che non me ne sono proprio accorto! E' che in genere riadatto vecchi file, quindi può essere che nella fretta ho tralasciato inavvertitamente di cambiare la data.

Comunque approfitto per far notare come ora si prospetti esattamente il pattern previsto dal modello md10int...con le infiltrazioni atlantiche sul mediterraneo forzate dall'alta sul centro e nordeuropa (con annessa instabilità e precipitazioni)! Certo ha sforato nel mese di maggio, ma complessivamente ci dovremmo molto avvicinare al pattern previsto per aprile dal modello ENS.

[Copernicus64]

Salve a tutti!

Eccoci per le previsioni copernicus64 estate 2024…


Per chi ancora non lo sapesse, sto utilizzando varie tipologie di modelli che poi integro in un unica previsione. Nella striscia in alto di ogni slide sono rappresentati i modelli che utilizzano dati stagionali a partire dal 1950, mentre nella striscia in basso modelli che utilizzano dati molto recenti (dal 2010 in poi caratterizzati dalla sigla “10”). Da sinistra a destra invece sono rappresentati i modelli emisferici (Modm), gli emisferici integrati con effetti regionali (modmint) e infine i regionali (eumodm). Quando compare la sigla “m”, questa sta a significare che i modelli sono riportati come media algebrica di 2 varianti. In tutto sono 6 plot e ogni plot può dare informazioni sulla tipologia di tempo che potrebbe maggiormente verificarsi in quel dato mese o nel corso della stagione. A seguire è rappresentata una slide che descrive le caratteristiche prevalenti per quel mese, con a fianco il plot ENS9 che rappresenta la media di tutti i modelli. Infine la proiezione relativa all’intera estate, sia come ENS9 come media di tutti i modelli, sia come ENS “ancillari” che descrivono la media dei pattern ottenuti dai modelli stagionali di lungo periodo, dai modelli di breve periodo, e dai modelli emisferici e regionali (in tutto quattro plot), che forniscono indicazioni su possibili soluzioni alternative, o comunque sul livello di incertezza della previsione.

Come si vede, previsione ahimè meno esaltante di quella formulata a Marzo, ma d’altra parte era nelle attese che sarebbe cambiata anche sensibilmente data la distanza temporale. In particolare per i modelli non stagionali (che sono quelli che ho utilizzato per fare la priezione “long-range”, ovvero gli ENS4 10-23), il fulcro depressionario si è spostato molto più a nordovest verso UK rispetto alla previsione di marzo che vedeva invece un interessamento del mediterraneo molto maggiore.

Ad ogni modo, vediamo almeno di portare a casa qualche bella rinfrescata, dopo la caldazza che si preannuncia imminente!


A presto per verifiche e aggiornamenti!

[Copernicus64]

Per amor di completezza, breve verifica delle previsioni primaverili...

Previsto con successo il periodo di instabilità e freddo di aprile dai diversi modelli...tuttavia il pattern dell'intera primavera è stato colto solo in parte. Benino i settori atlantici e mediterranei, direi male il settore scandinavo il cui errore principale è attribuibile ai modelli stagionali di lungo periodo. I modelli con miglior performance in questo caso sono stati come nelle attese i modelli regionali di breve periodo. Non a caso avevo colto l'incertezza delle 2 proiezioni postando le 2 ipotesi alternative: tunneling basso atlantico o scavallamento a nord delle depressioni atlantiche...la realtà si è collocata a metà strada, ma l'errore degli stagionali è stato un pò troppo marcato per equilibrare una difficile previsione fatta "sul filo del rasoio" ...soddisfacente comunque il settore di nostro interesse.
saluti!

[Wolf359]

Ciao Copernicus64 complimenti per il tuo lavoro, le skill predittive non sembrano affatto male, ma mi chiedevo se si potessero quantificare un po' più precisamente. Forse lo hai già spiegato in precedenza e in tal caso scusa se risollevo la questione.

Io stesso mi cimento con proiezioni a lungo termine (WeatherVeneto - Seasonal Forecasts) e ho provato a valutarne la bontà ad esempio con la Confusion matrix - Wikipedia e relativi indici. Normalmente questa matrice è 2x2, ma è possibile anche estenderla al caso 3x3 (ad es. Just a moment...) in modo che siano contemplati i casi di anomalie positive, negative ma anche prossime a zero. Mi sembrava troppo riduttivo e forzato limitarsi al caso si/no.

Poi volendo ci sono le curve ROC (Relative operating characteristic (ROC) - Met Office) e tanti altri modi.

Nel mio caso, per le proiezioni da 1 a 6 mesi, mi esce un'accuratezza (frazione di classificazioni corrette) tra 45 e 55% (0 = tutto sbagliato, 100 = tutto giusto), e un Matthew’s correlation coefficient (MCC) tra 0.07 e 0.14 (0 = nessun accordo tra proiezioni e osservazioni, è come se le proiezioni fossero a caso; 1 = accordo perfetto tra proiezioni e osservazioni). Insomma non così buone...

[Copernicus64]

Ciao Copernicus64 complimenti per il tuo lavoro, le skill predittive non sembrano affatto male, ma mi chiedevo se si potessero quantificare un po' più precisamente. Forse lo hai già spiegato in precedenza e in tal caso scusa se risollevo la questione.

Io stesso mi cimento con proiezioni a lungo termine (WeatherVeneto - Seasonal Forecasts) e ho provato a valutarne la bontà ad esempio con la Confusion matrix - Wikipedia e relativi indici. Normalmente questa matrice è 2x2, ma è possibile anche estenderla al caso 3x3 (ad es. Just a moment...) in modo che siano contemplati i casi di anomalie positive, negative ma anche prossime a zero. Mi sembrava troppo riduttivo e forzato limitarsi al caso si/no.

Poi volendo ci sono le curve ROC (Relative operating characteristic (ROC) - Met Office) e tanti altri modi.

Nel mio caso, per le proiezioni da 1 a 6 mesi, mi esce un'accuratezza (frazione di classificazioni corrette) tra 45 e 55% (0 = tutto sbagliato, 100 = tutto giusto), e un Matthew’s correlation coefficient (MCC) tra 0.07 e 0.14 (0 = nessun accordo tra proiezioni e osservazioni, è come se le proiezioni fossero a caso; 1 = accordo perfetto tra proiezioni e osservazioni). Insomma non così buone...

Buongiorno Wolf359! Generalmente uso un semplice ACC sui pattern o un PCC. E' una valutazione un pò severa dato che è piuttosto difficile inquadrare i pattern di anomalia circolatoria. Però è sicuramente un sistema valido, in quanto mi permette di valutare in toto e sinteticamente le performances. Anche altri indici classici possono essere di aiuto come l'RMSE o quelli che considerano l'errore relativo. Questi che hai elencato non li ho finora utilizzati ma potebbero senz'altro fornire utili indicazioni per una valutazione sul "successo" di una previsione. In genere comunque ora valuto le performance sull'intero arco stagionale che offre qualche chance in più di azzeccarci un minimo! Attualmente come ACC in area euro-atlantica sono tra 0.30 e 0.35 (un pò meglio promavera e estate, un pò peggio autunno e inverno). Sono valori paragonabili o forse persino migliori rispetto alle previsioni ufficiali (dopo circa 11 anni) anche se negli ultimi anni come puoi immaginare è aumentata la difficoltà previsionale legata ai cambiamenti climatici. Non sono comunque sempre gli stessi modelli (via via li aggiorno e li miglioro e di tanto in tanto introduco nuove tipologie).

Grazie per l'interesse!

[Wolf359]

Buongiorno Wolf359! Generalmente uso un semplice ACC sui pattern o un PCC. E' una valutazione un pò severa dato che è piuttosto difficile inquadrare i pattern di anomalia circolatoria. Però è sicuramente un sistema valido, in quanto mi permette di valutare in toto e sinteticamente le performances. Anche altri indici classici possono essere di aiuto come l'RMSE o quelli che considerano l'errore relativo. Questi che hai elencato non li ho finora utilizzati ma potebbero senz'altro fornire utili indicazioni per una valutazione sul "successo" di una previsione. In genere comunque ora valuto le performance sull'intero arco stagionale che offre qualche chance in più di azzeccarci un minimo! Attualmente come ACC in area euro-atlantica sono tra 0.30 e 0.35 (un pò meglio promavera e estate, un pò peggio autunno e inverno). Sono valori paragonabili o forse persino migliori rispetto alle previsioni ufficiali (dopo circa 11 anni) anche se negli ultimi anni come puoi immaginare è aumentata la difficoltà previsionale legata ai cambiamenti climatici. Non sono comunque sempre gli stessi modelli (via via li aggiorno e li miglioro e di tanto in tanto introduco nuove tipologie).

Grazie per l'interesse!

Ah ottimo! Sì certo anche ACC e PCC sono sistemi validi. Ce n'è davvero un'infinità. Un ACC 0.30-0.35 è buono direi Per ovviare al cambiamento climatico, recentemene ho provato a tenerne conto valutando per ogni pixel il trend lineare, e "aggiungerlo" alla previsione.
Del tipo: io uso un clutering kmeans per trovare gli anni più simili all'attuale guardando alcuni indici teleconnettivi e valuto la percentuale, per ogni punto, di quanti hanno avuto -per un certo mese di cui voglio la previsione- valori sopra o sotto media. Ma prima di fare questo gli "aggiungo/tolgo" quanto mi dice il trend.
Esempio banale e del tutto a caso: giugno mese di inizializzazione --> quali sono gli anni che hanno avuto il mese di giugno più simile al 2024 in termini di NAO, ENSO, ecc..? 1965, 1978, 1988, 1989 --> ok ma non posso banalmente fare la media tra questi, per via del cambiamento climatico che introduce un bias --> calcolo il trend dall'anno mediano ad oggi --> guardo come si sono comportati in media i mesi di luglio/agosto/.../ di quegli anni e ma aggiungo/tolgo il trend al risultato. A spanne, spero si capisca l'idea