Qual è il modello globale migliore?

**Wolf359** · 29/05/2025, 16:17

Ciao a tutti!

Titolo un po' clickbait ma è proprio la domanda a cui ho cercato di dare una risposta negli ultimi mesi. Esistono già le verification dei modelli, ma i prodotti che da sempre girano in rete si riferiscono a un intero emisfero o al massimo a un continente (se qualcuno conosce qualcosa di più specifico ben venga). Che dire per le scale molto più locali? Qual è il modello globale che performa meglio per la nostra zona?

Premetto subito che in realtà ho analizzato i dati per il pixel più vicino a me (vicino Padova), si può supporre che la situazione sia simile per altre aree di pianura del nord Italia e forse parte del centro, versante adriatico in particolare. Altrove non saprei, andrebbe verificato.

Ho raccolto i dati a partire da ottobre scorso, avrei aspettato di avere un anno intero di dati ma la situazione si è già in gran parte assestata ed è chiara da tempo. I dati "reali" con cui viene fatto il confronto sono di ERA5.

Modelli considerati:
GFS: media ensemble, controllo (ctrl) e operazionale (op)
GEM: media ensemble, controllo (ctrl) e operazionale (op)
ECMWF: media ensemble, controllo (ctrl) e operazionale (op)
ICON: media ensemble, controllo (ctrl) e operazionale (op)
UKMO: media ensemble, controllo (ctrl) e operazionale (op)
Graphcast
AIFS

I grafici arrivano fino a 16 giorni di previsione, benchè non tutti i modelli arrivano fino a quel range temporale. Alcuni grafici sono un po' "rumorosi", ciò che conta è l'andamento complessivo.

Come prima cosa vediamo la temperatura a 850 hPa.

Scarto quadratico medio, ovvero di quanto i modelli mediamente sbagliano?
rmse.jpg
A breve temine ovviamente si sbaglia poco, ma poi gli errori crescono. Per la prima settimana le differenze sono abbastanza modeste, dopodichè, soprattutto dal giorno 10 in poi gli ensemble sono decisamente migliori degli altri. L'ens di ECMWF è il migliore quasi sempre.

Bias (errore medio), ovvero chi sottostima e chi sovrastima?

bias.jpg

Quello che balza all'occhio è la decisa sottostima di GFS in tutte le sue forme, gli altri invece vanno molto meglio. Graphcast addirittura in media sovrastima abbastanza nel breve-medio termine.

Correlazione, ovvero quanto sono simili gli andamenti delle serie osservate e quelle previste?

corr.jpg

Anche in questo caso nel lungo termine stravincono gli ensemble, ECMWF in testa ma GFS è molto vicino. Il ctrl di ICON ha un andamento totalmente estraneo.

Deviazione standard dei primi X giorni, ovvero quanto sono stabili le previsioni?

sd.jpg

A parte ancora una volta il ctrl di ICON, le previsioni che si mantengono più coerenti nel tempo sono quelle degli ensemble, che del resto smussano gli estremi. Tra gli operazionali è AIFS quello migliore.

Ma quanto sono in grado di prevedere gli estremi, quindi in un certo senso le ondate di caldo e freddo? Dico in un certo senso perchè per praticità ho usato una definizione molto blanda: un giorno è caldo/freddo se il suo valore rispetto al momento dell'anno è oltre il 75°/25° percentile. Quindi ad esempio, considerando i giorni freddi effettivamente verificatisi, al giorno di previsione X con che frequenza erano stati previsti?

hit_-1.jpg

Domanda contorta ma significa che se un certo giorno è stato freddo, allora ad esempio a 5 giorni AIFS di solito lo aveva già capito nel 85% dei casi. In generale AIFS è il migliore nel breve-medio termine, dopodichè subentrano gli ens di ECMWF e UKMO. Sul lunghissimo termine è una guazzabuglio.

Stessa domanda ma riguardo il caldo?

hit_1.jpg

Le percentuali sono tutte in generale più alte, per qualsiasi range temporale, e vincono prima GFS e successivamente ECMWF.

Se invece un certo giorno è stato freddo, con che frequenza i modelli non l'hanno capito?

miss_-1.jpg

Percentuali basse e che crescono poco nel tempo.

E gli eventi di caldo imprevisti?

miss_1.jpg

Valori più alti che nel caso freddo, con GFS che è quello che manca di più gli episodi caldi nel breve e medio termine.

Infine i falsi allarmi, ovvero se un giorno è risultato normale, con che frequenza succede che i modelli hanno indicato invece freddo?

fa_-1.jpg

AIFS migliore nel breve termine, poi situazione non chiarissima.

E giorni normali che invece venivano dati per caldi?

fa_1.jpg

Percentuali più basse del caso freddo, con GFS il migliore nel breve e lungo termine e ECMWF nel medio.

Insomma in base alla domanda, la risposta può cambiare. Ho provato a riassumere tutto quanto in un unico grafico, il seguente, che combina tutti i precedenti soppesando i vari parametri:

overall.jpg

In questa scala arbitraria da 0 (male) a 100 (bene), EMCWF e AIFS sono i migliori fino a una settimana di previsione. Poi EMCWF prende il largo e primeggia fino quasi alla fine, quando anche GEM, e in parte Graphcast, fanno capolino. GFS ensemble complessivamente va piuttosto male, con addirittura l'operazionale che è il peggiore di tutti, sempre. Meglio piuttosto l'operazionale di GEM.

Se l'analisi non ha annoiato, prossimamente posso considerare anche la temperatura a 500 hPa, la pressione al suolo e il GPT a 500 hPa.

**Edoardo95** · 29/05/2025, 17:39

Complimenti per l'analisi dettagliata

Alla luce di ciò (per ora a 850hpa) mi chiedo come sia ancora possibile il fatto che GFS venga spesso considerato di più di altri modelli minori (vedasi AIFS, Graphcast ecc) che sono molto più performanti...

Aspetto le altre analisi

**Matteo97** · 29/05/2025, 23:30

Originariamente Scritto da Wolf359

Ciao a tutti!

Titolo un po' clickbait ma è proprio la domanda a cui ho cercato di dare una risposta negli ultimi mesi. Esistono già le verification dei modelli, ma i prodotti che da sempre girano in rete si riferiscono a un intero emisfero o al massimo a un continente (se qualcuno conosce qualcosa di più specifico ben venga). Che dire per le scale molto più locali? Qual è il modello globale che performa meglio per la nostra zona?

Premetto subito che in realtà ho analizzato i dati per il pixel più vicino a me (vicino Padova), si può supporre che la situazione sia simile per altre aree di pianura del nord Italia e forse parte del centro, versante adriatico in particolare. Altrove non saprei, andrebbe verificato.

Ho raccolto i dati a partire da ottobre scorso, avrei aspettato di avere un anno intero di dati ma la situazione si è già in gran parte assestata ed è chiara da tempo. I dati "reali" con cui viene fatto il confronto sono di ERA5.

Modelli considerati:
GFS: media ensemble, controllo (ctrl) e operazionale (op)
GEM: media ensemble, controllo (ctrl) e operazionale (op)
ECMWF: media ensemble, controllo (ctrl) e operazionale (op)
ICON: media ensemble, controllo (ctrl) e operazionale (op)
UKMO: media ensemble, controllo (ctrl) e operazionale (op)
Graphcast
AIFS

I grafici arrivano fino a 16 giorni di previsione, benchè non tutti i modelli arrivano fino a quel range temporale. Alcuni grafici sono un po' "rumorosi", ciò che conta è l'andamento complessivo.

Come prima cosa vediamo la temperatura a 850 hPa.

Scarto quadratico medio, ovvero di quanto i modelli mediamente sbagliano?
rmse.jpg
A breve temine ovviamente si sbaglia poco, ma poi gli errori crescono. Per la prima settimana le differenze sono abbastanza modeste, dopodichè, soprattutto dal giorno 10 in poi gli ensemble sono decisamente migliori degli altri. L'ens di ECMWF è il migliore quasi sempre.

Bias (errore medio), ovvero chi sottostima e chi sovrastima?

bias.jpg

Quello che balza all'occhio è la decisa sottostima di GFS in tutte le sue forme, gli altri invece vanno molto meglio. Graphcast addirittura in media sovrastima abbastanza nel breve-medio termine.

Correlazione, ovvero quanto sono simili gli andamenti delle serie osservate e quelle previste?

corr.jpg

Anche in questo caso nel lungo termine stravincono gli ensemble, ECMWF in testa ma GFS è molto vicino. Il ctrl di ICON ha un andamento totalmente estraneo.

Deviazione standard dei primi X giorni, ovvero quanto sono stabili le previsioni?

sd.jpg

A parte ancora una volta il ctrl di ICON, le previsioni che si mantengono più coerenti nel tempo sono quelle degli ensemble, che del resto smussano gli estremi. Tra gli operazionali è AIFS quello migliore.

Ma quanto sono in grado di prevedere gli estremi, quindi in un certo senso le ondate di caldo e freddo? Dico in un certo senso perchè per praticità ho usato una definizione molto blanda: un giorno è caldo/freddo se il suo valore rispetto al momento dell'anno è oltre il 75°/25° percentile. Quindi ad esempio, considerando i giorni freddi effettivamente verificatisi, al giorno di previsione X con che frequenza erano stati previsti?

hit_-1.jpg

Domanda contorta ma significa che se un certo giorno è stato freddo, allora ad esempio a 5 giorni AIFS di solito lo aveva già capito nel 85% dei casi. In generale AIFS è il migliore nel breve-medio termine, dopodichè subentrano gli ens di ECMWF e UKMO. Sul lunghissimo termine è una guazzabuglio.

Stessa domanda ma riguardo il caldo?

hit_1.jpg

Le percentuali sono tutte in generale più alte, per qualsiasi range temporale, e vincono prima GFS e successivamente ECMWF.

Se invece un certo giorno è stato freddo, con che frequenza i modelli non l'hanno capito?

miss_-1.jpg

Percentuali basse e che crescono poco nel tempo.

E gli eventi di caldo imprevisti?

miss_1.jpg

Valori più alti che nel caso freddo, con GFS che è quello che manca di più gli episodi caldi nel breve e medio termine.

Infine i falsi allarmi, ovvero se un giorno è risultato normale, con che frequenza succede che i modelli hanno indicato invece freddo?

fa_-1.jpg

AIFS migliore nel breve termine, poi situazione non chiarissima.

E giorni normali che invece venivano dati per caldi?

fa_1.jpg

Percentuali più basse del caso freddo, con GFS il migliore nel breve e lungo termine e ECMWF nel medio.

Insomma in base alla domanda, la risposta può cambiare. Ho provato a riassumere tutto quanto in un unico grafico, il seguente, che combina tutti i precedenti soppesando i vari parametri:

overall.jpg

In questa scala arbitraria da 0 (male) a 100 (bene), EMCWF e AIFS sono i migliori fino a una settimana di previsione. Poi EMCWF prende il largo e primeggia fino quasi alla fine, quando anche GEM, e in parte Graphcast, fanno capolino. GFS ensemble complessivamente va piuttosto male, con addirittura l'operazionale che è il peggiore di tutti, sempre. Meglio piuttosto l'operazionale di GEM.

Se l'analisi non ha annoiato, prossimamente posso considerare anche la temperatura a 500 hPa, la pressione al suolo e il GPT a 500 hPa.

Ciao Claudio, mi unisco anch'io ai complimenti, come per l'attenta analisi ma pure per la voglia di analizzare le prestazioni dei vari modelli.
Possiamo dire che i nuovi modelli sull'intelligenza artificiale AIFS e GraphCast mi sembrano che siano usciti appena circa un anno fa e subito dopo pochissimi mesi li hai inseriti nello studio.
GraphCast non l'hai usato dipendente dai dati GFS (GraphCast GFS), giusto?

**Wolf359** · 30/05/2025, 05:12

Originariamente Scritto da Matteo97

Ciao Claudio, mi unisco anch'io ai complimenti, come per l'attenta analisi ma pure per la voglia di analizzare le prestazioni dei vari modelli.
Possiamo dire che i nuovi modelli sull'intelligenza artificiale AIFS e GraphCast mi sembrano che siano usciti appena circa un anno fa e subito dopo pochissimi mesi li hai inseriti nello studio.
GraphCast non l'hai usato dipendente dai dati GFS (GraphCast GFS), giusto?

Grazie a entrambi

I dati li ho tutti presi qui ️ Docs | Open-Meteo.com

Non vedo l'ora che rilascino liberamente anche le ens di AIFS, in teoria entro pochi mesi, che dovrebbero performare anche meglio Enter the ensembles | ECMWF

**zoomx** · 30/05/2025, 09:41

Complimenti per l'analisi.

Si può estendere anche alle precipitazioni?

**burian br** · 30/05/2025, 09:54

Eccellente analisi!
Volendo sintetizzare, si scopre che alcune sensazioni in realtà sono effettivamente vere:

è più facile prevedere il caldo, anche intenso, che non il freddo
è più facile sbagliare quando viene visto il freddo (e visto che si parla di freddo generico, non si tratta specificatamente di retrogressioni)
GFS fa effettivamente pena
ECMWF è davvero il migliore dei modelli

Ritengo però che ci possano essere dei bias in questi risultati, non dovuti al metodo ma allo stato del clima dell'ultimo anno. Ad esempio, avendo usato come definizione di giorno caldo/freddo quella oltre il 75° o sotto il 25° percentile, credo che visto che quest'anno sia stato sempre molto caldo avrai avuto molto più modo di testare i modelli per i giorni caldi e poco per i giorni freddi perchè, detto semplicemente, di giorni freddi ce ne sono stati davvero molto pochi.
Analogamente, poichè lo stato atmosferico nell'ultimo anno è stato improntato a scarse irruzioni da est o dai quadranti settentrionali, l'eventuale errore potrebbero essere stato amplificato perchè i modelli deterministici non tengono conto dello stato pregresso del clima recente per impostare le previsioni; viceversa, se l'ultimo anno fosse stato più incline a vedere irruzioni fredde, può darsi che la performance sarebbe stata più scadente nel prevedere il caldo di quanto risulti ora in un anno in cui il caldo è stato lo scenario di default.
Non so se mi son fatto capire, che ne pensi @Wolf359?

**Wolf359** · 30/05/2025, 12:32

Originariamente Scritto da zoomx

Complimenti per l'analisi.

Si può estendere anche alle precipitazioni?

Grazie

No non ne ho raccolto i dati, le precipitazioni da GM lasciano un po' il tempo che trovano. Non ho salvato nemmeno le t2m.

**Wolf359** · 30/05/2025, 12:36

Originariamente Scritto da burian br

Eccellente analisi!
Volendo sintetizzare, si scopre che alcune sensazioni in realtà sono effettivamente vere:

è più facile prevedere il caldo, anche intenso, che non il freddo
è più facile sbagliare quando viene visto il freddo (e visto che si parla di freddo generico, non si tratta specificatamente di retrogressioni)
GFS fa effettivamente pena
ECMWF è davvero il migliore dei modelli

Ritengo però che ci possano essere dei bias in questi risultati, non dovuti al metodo ma allo stato del clima dell'ultimo anno. Ad esempio, avendo usato come definizione di giorno caldo/freddo quella oltre il 75° o sotto il 25° percentile, credo che visto che quest'anno sia stato sempre molto caldo avrai avuto molto più modo di testare i modelli per i giorni caldi e poco per i giorni freddi perchè, detto semplicemente, di giorni freddi ce ne sono stati davvero molto pochi.
Analogamente, poichè lo stato atmosferico nell'ultimo anno è stato improntato a scarse irruzioni da est o dai quadranti settentrionali, l'eventuale errore potrebbero essere stato amplificato perchè i modelli deterministici non tengono conto dello stato pregresso del clima recente per impostare le previsioni; viceversa, se l'ultimo anno fosse stato più incline a vedere irruzioni fredde, può darsi che la performance sarebbe stata più scadente nel prevedere il caldo di quanto risulti ora in un anno in cui il caldo è stato lo scenario di default.
Non so se mi son fatto capire, che ne pensi @Wolf359?

ciao!! sicuramenre il campione caldo/freddo non è uguale, e la scelta del 25°/75° è come dicevo piuttosto permissiva perchè così si hanno abbastanza casi in entrambi i sensi. Continuerò a monitorare la situazione, magari in futuro ci saranno aggiustamenti, chi lo sa

**Matteo97** · 30/05/2025, 13:13

Originariamente Scritto da Wolf359

ciao!! sicuramenre il campione caldo/freddo non è uguale, e la scelta del 25°/75° è come dicevo piuttosto permissiva perchè così si hanno abbastanza casi in entrambi i sensi. Continuerò a monitorare la situazione, magari in futuro ci saranno aggiustamenti, chi lo sa

Esatto, anche perchè ogni tanto ci sono degli aggiornamenti ai modelli, vedi la versione "parallelo" che via via sostituivano il modello principale, migliorando le prestazioni

**fresh** · 09/06/2025, 15:06

Originariamente Scritto da Wolf359

Ciao a tutti!

Titolo un po' clickbait ma è proprio la domanda a cui ho cercato di dare una risposta negli ultimi mesi. Esistono già le verification dei modelli, ma i prodotti che da sempre girano in rete si riferiscono a un intero emisfero o al massimo a un continente (se qualcuno conosce qualcosa di più specifico ben venga). Che dire per le scale molto più locali? Qual è il modello globale che performa meglio per la nostra zona?

Premetto subito che in realtà ho analizzato i dati per il pixel più vicino a me (vicino Padova), si può supporre che la situazione sia simile per altre aree di pianura del nord Italia e forse parte del centro, versante adriatico in particolare. Altrove non saprei, andrebbe verificato.

Ho raccolto i dati a partire da ottobre scorso, avrei aspettato di avere un anno intero di dati ma la situazione si è già in gran parte assestata ed è chiara da tempo. I dati "reali" con cui viene fatto il confronto sono di ERA5.

Modelli considerati:
GFS: media ensemble, controllo (ctrl) e operazionale (op)
GEM: media ensemble, controllo (ctrl) e operazionale (op)
ECMWF: media ensemble, controllo (ctrl) e operazionale (op)
ICON: media ensemble, controllo (ctrl) e operazionale (op)
UKMO: media ensemble, controllo (ctrl) e operazionale (op)
Graphcast
AIFS

I grafici arrivano fino a 16 giorni di previsione, benchè non tutti i modelli arrivano fino a quel range temporale. Alcuni grafici sono un po' "rumorosi", ciò che conta è l'andamento complessivo.

Come prima cosa vediamo la temperatura a 850 hPa.

Scarto quadratico medio, ovvero di quanto i modelli mediamente sbagliano?
rmse.jpg
A breve temine ovviamente si sbaglia poco, ma poi gli errori crescono. Per la prima settimana le differenze sono abbastanza modeste, dopodichè, soprattutto dal giorno 10 in poi gli ensemble sono decisamente migliori degli altri. L'ens di ECMWF è il migliore quasi sempre.

Bias (errore medio), ovvero chi sottostima e chi sovrastima?

bias.jpg

Quello che balza all'occhio è la decisa sottostima di GFS in tutte le sue forme, gli altri invece vanno molto meglio. Graphcast addirittura in media sovrastima abbastanza nel breve-medio termine.

Correlazione, ovvero quanto sono simili gli andamenti delle serie osservate e quelle previste?

corr.jpg

Anche in questo caso nel lungo termine stravincono gli ensemble, ECMWF in testa ma GFS è molto vicino. Il ctrl di ICON ha un andamento totalmente estraneo.

Deviazione standard dei primi X giorni, ovvero quanto sono stabili le previsioni?

sd.jpg

A parte ancora una volta il ctrl di ICON, le previsioni che si mantengono più coerenti nel tempo sono quelle degli ensemble, che del resto smussano gli estremi. Tra gli operazionali è AIFS quello migliore.

Ma quanto sono in grado di prevedere gli estremi, quindi in un certo senso le ondate di caldo e freddo? Dico in un certo senso perchè per praticità ho usato una definizione molto blanda: un giorno è caldo/freddo se il suo valore rispetto al momento dell'anno è oltre il 75°/25° percentile. Quindi ad esempio, considerando i giorni freddi effettivamente verificatisi, al giorno di previsione X con che frequenza erano stati previsti?

hit_-1.jpg

Domanda contorta ma significa che se un certo giorno è stato freddo, allora ad esempio a 5 giorni AIFS di solito lo aveva già capito nel 85% dei casi. In generale AIFS è il migliore nel breve-medio termine, dopodichè subentrano gli ens di ECMWF e UKMO. Sul lunghissimo termine è una guazzabuglio.

Stessa domanda ma riguardo il caldo?

hit_1.jpg

Le percentuali sono tutte in generale più alte, per qualsiasi range temporale, e vincono prima GFS e successivamente ECMWF.

Se invece un certo giorno è stato freddo, con che frequenza i modelli non l'hanno capito?

miss_-1.jpg

Percentuali basse e che crescono poco nel tempo.

E gli eventi di caldo imprevisti?

miss_1.jpg

Valori più alti che nel caso freddo, con GFS che è quello che manca di più gli episodi caldi nel breve e medio termine.

Infine i falsi allarmi, ovvero se un giorno è risultato normale, con che frequenza succede che i modelli hanno indicato invece freddo?

fa_-1.jpg

AIFS migliore nel breve termine, poi situazione non chiarissima.

E giorni normali che invece venivano dati per caldi?

fa_1.jpg

Percentuali più basse del caso freddo, con GFS il migliore nel breve e lungo termine e ECMWF nel medio.

Insomma in base alla domanda, la risposta può cambiare. Ho provato a riassumere tutto quanto in un unico grafico, il seguente, che combina tutti i precedenti soppesando i vari parametri:

overall.jpg

In questa scala arbitraria da 0 (male) a 100 (bene), EMCWF e AIFS sono i migliori fino a una settimana di previsione. Poi EMCWF prende il largo e primeggia fino quasi alla fine, quando anche GEM, e in parte Graphcast, fanno capolino. GFS ensemble complessivamente va piuttosto male, con addirittura l'operazionale che è il peggiore di tutti, sempre. Meglio piuttosto l'operazionale di GEM.

Se l'analisi non ha annoiato, prossimamente posso considerare anche la temperatura a 500 hPa, la pressione al suolo e il GPT a 500 hPa.

Interessante....bravo.