Valutazione performance dei Global Models

[FilTur]

Come da suggerimento del @Moderatore, perché non aprire un apposito thread? In cui monitorare, settimana dopo settimana, le prestazioni dei principali GM. Io suggerirei di comparare i seguenti modelli:

ECMWF

GFS

GFS-parallelo

GEM

UKMO

JMA

NAVGEM

E di suddividere la comparazione in 4 periodi:

nowcasting (magari dedicata ai LAM dei principali modelli)

breve termine (1-3 giorni)

medio termine (4-7 giorni)

lungo termine (8-10 giorni)

Può andare secondo voi?

[Cristiano96]

Bel 3d, l'idea mi piace!

[Moderatore]

Anche a me

[Calibre]

Per me può andare, forse avrei evitato JMA e Navgem ma va bene lo stesso

[doldrum67]

Premetto che non ho la costanza di fare un lavoro de genere ma che leggerei comunque con interesse.
Detto.questo, metterei in lista anche ICON.

[Immota manet]

Buongiorno, forse già lo sapete, ma il NOAA ha una sezione dedicata proprio alle performance dei modelli, questo è il link:

NCEP EMC Global Model Verification

sulla sinistra avete una serie di menu da cui scegliere le variabili, poi basta cliccare su GO;
in alto si possono scegliere altre variabili sia temporali che emisferiche.

[TreborSnow]

Ricordiamo allora anche ben in evidenza
EXPERIMENTAL e

Please see this presentation for definitions of the various verification statistics.

Capisco i buoni propositi ma se non si ha un metodo valido di valutazione, e la pagina più su è ciò che di meglio c'è in giro, non vorrei che il topic avanzasse a sensazioni, sempre e solo per il comparto italico. Ovvero come sempre successo: ecmwf l'ha visto prima..., ukmo è più stabile..., gfs 4 corse al giorno, etc etc etc...

Quella è una pagina globale. Qualcuno si è mai posto il problema di verificare le performance in Giappone o Argentina?

[Calibre]

Ricordiamo allora anche ben in evidenza
EXPERIMENTAL e

Please see this presentation for definitions of the various verification statistics.

Capisco i buoni propositi ma se non si ha un metodo valido di valutazione, e la pagina più su è ciò che di meglio c'è in giro, non vorrei che il topic avanzasse a sensazioni, sempre e solo per il comparto italico. Ovvero come sempre successo: ecmwf l'ha visto prima..., ukmo è più stabile..., gfs 4 corse al giorno, etc etc etc...

Quella è una pagina globale. Qualcuno si è mai posto il problema di verificare le performance in Giappone o Argentina?

È uno strumento sperimentale ma ciò non significa che sia uno strumento inutile o non valido. C'è scritto che a volte, in caso di "Pattern correlation" fra previsione e analisi basso, lo strumento può essere fuorviante. Ciò avviene soprattutto in caso di modello scarso nel long range, grossomodo, ma nello specifico c'è scritto che:

If pattern correlation is low, RMSE tends to award forecasts withsmoother fields. The implication is that RMSE should not be used forextended NWP forecasts and seasonal forecasts either

E che quindi lo strumento non andrebbe usato per previsioni stagionali o previsioni estese (immagino oltre un range di 10 giorni). Ma entro questo range lo strumento fa adeguatamente il suo lavoro ed è comunque accettabile.

Tuttavia al centro americano hanno utilizzato e utilizzano questo strumento quasi esclusivamente per la performance del vento tropicale, che però di fatto ha dei riflessi sulla dinamica generale atmosferica.

At NCEP/EMC, RMSE has been almost exclusively used to measure theperformance of tropical wind

[Calibre]

Se poi vogliamo fare una piccola reanalisi sul nostro comparto, ovviamente in maniera parziale, vediamo un po' come si sono comportati i principali GM per l'avvezione in atto





GFS Parallelo



GFS operativo



UKMO



ECMWF

<


GEM





Per quanto riguarda le 120h pochi dubbi, ECMWF sicuramente si è comportato meglio, il peggiore GEM, quasi incommentabile... ma anche Ukmo malino, GFS e il parallelo male.



Vediamo un po' a 192h.




GFS Parallelo




GFS Operativo





ECMWF




GEM




ECMWF male, così come GFS Parallelo, certamente meglio GFS e GEM. Sembrerebbe quindi che a distanze più elevate l'intuizione giusta può averla qualunque modello, ho preso il run 00 a titolo di esempio.
Noto anche che a 192h avevano capito meglio la portata dell'Atlantico basso GFS e GFS parallelo, anche se quest'ultimo con errori piuttosto grandi in est Europa, ma in generale avevano sottostimato tutti l'erosione dei GPT ad opera della LP Atlantica.

[doldrum67]

Ottima reanalisi! Bisognerebbe farle più spesso, specialmente in occasione di eventi molto attesi che poi finiscono nel nulla.
Aggiungerei anche ICON che però ha un run lungo solo 180 ore.

Sulle 120 ore però non è niente male:
icon-0-120_zsp9.png

Mentre sulle 180 malino assai!
icon-0-180_upz1.png