Originariamente Scritto da
Wolf359
Ciao a tutti!
Titolo un po' clickbait ma è proprio la domanda a cui ho cercato di dare una risposta negli ultimi mesi. Esistono già le verification dei modelli, ma i prodotti che da sempre girano in rete si riferiscono a un intero emisfero o al massimo a un continente (se qualcuno conosce qualcosa di più specifico ben venga). Che dire per le scale molto più locali?
Qual è il modello globale che performa meglio per la nostra zona?
Premetto subito che in realtà ho analizzato i dati per il pixel più vicino a me (vicino Padova), si può supporre che la situazione sia simile per altre aree di pianura del nord Italia e forse parte del centro, versante adriatico in particolare. Altrove non saprei, andrebbe verificato.
Ho raccolto i dati a partire da ottobre scorso, avrei aspettato di avere un anno intero di dati ma la situazione si è già in gran parte assestata ed è chiara da tempo. I dati "reali" con cui viene fatto il confronto sono di
ERA5.
Modelli considerati:
GFS: media ensemble, controllo (ctrl) e operazionale (op)
GEM: media ensemble, controllo (ctrl) e operazionale (op)
ECMWF: media ensemble, controllo (ctrl) e operazionale (op)
ICON: media ensemble, controllo (ctrl) e operazionale (op)
UKMO: media ensemble, controllo (ctrl) e operazionale (op)
Graphcast
AIFS
I grafici arrivano fino a 16 giorni di previsione, benchè non tutti i modelli arrivano fino a quel range temporale. Alcuni grafici sono un po' "rumorosi", ciò che conta è l'andamento complessivo.
Come prima cosa vediamo la
temperatura a 850 hPa.
Scarto quadratico medio, ovvero di quanto i modelli mediamente sbagliano?
Allegato 641829
A breve temine ovviamente si sbaglia poco, ma poi gli errori crescono. Per la prima settimana le differenze sono abbastanza modeste, dopodichè, soprattutto dal giorno 10 in poi gli ensemble sono decisamente migliori degli altri. L'
ens di
ECMWF è il migliore quasi sempre.
Bias (errore medio), ovvero chi sottostima e chi sovrastima?
Allegato 641830
Quello che balza all'occhio è la decisa sottostima di
GFS in tutte le sue forme, gli altri invece vanno molto meglio. Graphcast addirittura in media sovrastima abbastanza nel breve-medio termine.
Correlazione, ovvero quanto sono simili gli andamenti delle serie osservate e quelle previste?
Allegato 641831
Anche in questo caso nel lungo termine stravincono gli ensemble,
ECMWF in testa ma
GFS è molto vicino. Il ctrl di ICON ha un andamento totalmente estraneo.
Deviazione standard dei primi X giorni, ovvero quanto sono stabili le previsioni?
Allegato 641832
A parte ancora una volta il ctrl di ICON, le previsioni che si mantengono più coerenti nel tempo sono quelle degli ensemble, che del resto smussano gli estremi. Tra gli operazionali è AIFS quello migliore.
Ma quanto sono in grado di prevedere gli estremi, quindi in un certo senso le ondate di caldo e freddo? Dico in un certo senso perchè per praticità ho usato una definizione molto blanda: un giorno è caldo/freddo se il suo valore rispetto al momento dell'anno è oltre il 75°/25° percentile.
Quindi ad esempio, considerando i giorni freddi effettivamente verificatisi, al giorno di previsione X con che frequenza erano stati previsti?
Allegato 641833
Domanda contorta ma significa che se un certo giorno è stato freddo, allora ad esempio a 5 giorni AIFS di solito lo aveva già capito nel 85% dei casi. In generale AIFS è il migliore nel breve-medio termine, dopodichè subentrano gli
ens di
ECMWF e
UKMO. Sul lunghissimo termine è una guazzabuglio.
Stessa domanda ma riguardo il caldo?
Allegato 641834
Le percentuali sono tutte in generale più alte, per qualsiasi range temporale, e vincono prima
GFS e successivamente
ECMWF.
Se invece un certo giorno è stato freddo, con che frequenza i modelli non l'hanno capito?
Allegato 641835
Percentuali basse e che crescono poco nel tempo.
E gli eventi di caldo imprevisti?
Allegato 641836
Valori più alti che nel caso freddo, con
GFS che è quello che manca di più gli episodi caldi nel breve e medio termine.
Infine i falsi allarmi, ovvero se un giorno è risultato normale, con che frequenza succede che i modelli hanno indicato invece freddo?
Allegato 641837
AIFS migliore nel breve termine, poi situazione non chiarissima.
E giorni normali che invece venivano dati per caldi?
Allegato 641838
Percentuali più basse del caso freddo, con
GFS il migliore nel breve e lungo termine e
ECMWF nel medio.
Insomma in base alla domanda, la risposta può cambiare. Ho provato a riassumere tutto quanto in
un unico grafico, il seguente, che combina tutti i precedenti soppesando i vari parametri:
Allegato 641839
In questa scala arbitraria da 0 (male) a 100 (bene),
EMCWF e AIFS sono i migliori fino a una settimana di previsione. Poi EMCWF prende il largo e primeggia fino quasi alla fine, quando anche GEM, e in parte Graphcast, fanno capolino. GFS ensemble complessivamente va piuttosto male, con addirittura l'operazionale che è il peggiore di tutti, sempre. Meglio piuttosto l'operazionale di GEM.
Se l'analisi non ha annoiato, prossimamente posso considerare anche la temperatura a 500 hPa, la pressione al suolo e il GPT a 500 hPa.
Re: Qual è il modello globale migliore?
Permessi di Scrittura
Rispondi Citando
Segnalibri