Re: OPI "October Pattern Index"
Originariamente Scritto da Cristian-Ostuni/Bologna
Non concordo per nulla circa questi tuoi passaggi.
Una correlazione al 91% nel contesto dell’OPI prevede un range di variabilità entro il quale la magnitudo del segnale è spiegata dalla linearità della relazione. Ora, non avendo i dati dello studio devo fare riferimento a quanto esposto dagli autori cioè che a quell’R^2 di 0,91 corrisponde un range di circa 1 punto di AO trimestrale … quindi se prevedo 1,6 di AO trimestrale allora mi attendo che il dato reale sia compreso tra 1,1 e 2,1 circa. Uno scostamento tra reale e osservato che vada oltre tale range, assume un solo significato, cioè che la linearità della relazione trovata non è in grado di spiegare l’andamento di questa stagione invernale. E qui torniamo alle questione fondamentali, già sottolineate in precedenza … esiste overfitting nella correlazione interna al campione? IMHO, si. Esiste qualche dinamica che sfugge alla correlazione tra pattern ottobrino e stagione invernale? IMHO, si.
No, anche qui siamo fuori strada. La relazione lineare è chiara … Pattern ottobrino vs. AO invernale quindi non conta come si raggiunge il valore, conta il valore trimestrale in sé.
L’anomalia invernale di geopotenziale sul comparto euro-atlantico è risulta opposta a quanto previsto semplicemente per il fatto che non è andata in porto la previsione dell’AO trimestrale. Se l’AO trimestrale avesse chiuso a +1,6 avremmo avuto anche le anomalie previste per il fatto, che sempre quanto riferito dagli autori, la correlazione tra AO trimestrale e anomalie di geopotenziale in area europa centrale-italia è pari all’85%. Sempre in tempi non sospetti facevo però notare come a fronte di un range di circa 1 punto di AO nella relazione OPI/AO, una correlazione di 0,85 tra AO e anomalia geopotenziale rischia di essere predittiva solamente per valori AO di alta magnitudo (in valore assoluto, cioè indipendentemente dal segno) perché la relazione lineare tra AO e anomalia di geopotenziale è forte nelle code del segnale, non certo per valori di AO nulli.
[B]Lorenzo Smeraldi : [/B]le migliori idee sono sempre quelle che vengono realizzate
Re: OPI "October Pattern Index"
Ci mancherebbe che non esistaNon concordo per nulla circa questi tuoi passaggi.
Una correlazione al 91% nel contesto dell’OPI prevede un range di variabilità entro il quale la magnitudo del segnale è spiegata dalla linearità della relazione. Ora, non avendo i dati dello studio devo fare riferimento a quanto esposto dagli autori cioè che a quell’R^2 di 0,91 corrisponde un range di circa 1 punto di AO trimestrale … quindi se prevedo 1,6 di AO trimestrale allora mi attendo che il dato reale sia compreso tra 1,1 e 2,1 circa. Uno scostamento tra reale e osservato che vada oltre tale range, assume un solo significato, cioè che la linearità della relazione trovata non è in grado di spiegare l’andamento di questa stagione invernale. E qui torniamo alle questione fondamentali, già sottolineate in precedenza … esiste overfitting nella correlazione interna al campione? IMHO, si. Esiste qualche dinamica che sfugge alla correlazione tra pattern ottobrino e stagione invernale? IMHO, si.
No, anche qui siamo fuori strada. La relazione lineare è chiara … Pattern ottobrino vs. AO invernale quindi non conta come si raggiunge il valore, conta il valore trimestrale in sé.
L’anomalia invernale di geopotenziale sul comparto euro-atlantico è risulta opposta a quanto previsto semplicemente per il fatto che non è andata in porto la previsione dell’AO trimestrale. Se l’AO trimestrale avesse chiuso a +1,6 avremmo avuto anche le anomalie previste per il fatto, che sempre quanto riferito dagli autori, la correlazione tra AO trimestrale e anomalie di geopotenziale in area europa centrale-italia è pari all’85%. Sempre in tempi non sospetti facevo però notare come a fronte di un range di circa 1 punto di AO nella relazione OPI/AO, una correlazione di 0,85 tra AO e anomalia geopotenziale rischia di essere predittiva solamente per valori AO di alta magnitudo (in valore assoluto, cioè indipendentemente dal segno) perché la relazione lineare tra AO e anomalia di geopotenziale è forte nelle code del segnale, non certo per valori di AO nulli.
In generale concordo con quanto scrivi, l'ultimo quote, in particolare, mi pare molto importante ai fini della corretta proiezione stagionale.
~~~ Always looking at the sky~~~
Re: OPI "October Pattern Index"
Ci mancherebbe che non esista
Ho specificato un'ovvietà \as\ perchè ho la sensazione che troppi, di fronte ad una correlazione statistica di 0,91 (ammesso che tale sia, come già spiegato), pensano/credono che tutte le dinamiche siano spiegate.
[B]Lorenzo Smeraldi : [/B]le migliori idee sono sempre quelle che vengono realizzate
Re: OPI "October Pattern Index"
Sempre parlando di "overfitting" nel contesto OPI vorrei provare a condividere qualche speculazione che mi sono fatto nel corso di questi mesi rileggendo più volte il paper sulla ricerca.
Voglio esemplificare circa questo concetto di "overfitting" rispetto ai dati del campione perchè spesso si usa questo termine in modo improprio e per far compredere a quanti faticano a capire come sia possibile l'esistenza di questo problema in un contesto di analisi numerica in ambito statistico.
Partiamo da un punto fisso. L'OPI è la risultante di due valori, il "grado di ellitticizzazione del VP" e "l'inclinazione dell'asse del VP".
Dal momento che il "grado di ellitticizzazione del VP" è calcolato come anomalia di geopotenziale tra polo, nord asia e nord america, già questo valore contiene intrinsicamente un'informzione relativa all'asse del VP perchè è calcolato in riferimento ad un asse.
L'informazione fornita dal parametro "inclinazione dell'asse del VP" potrebbe essere ininfluente (ed omessa ??) e potrebbe contribuire ad autoadattare il valore OPI ai dati osservati, cioè fungere da mero rettificatore di valori.
Da qui potrebbe nascere un problema di overfitting.
Come vedete ho utilizzato condizionali e dubitativi ma credo che non si possa sottovalutare questo aspetto dell'overfitting e reputo che sia materia di approfondimento nel caso OPI.
Tra l'altro, durante la diretta di ottobre 2013 sulla formazione dell'indice OPI nel corso dei 31 giorni del mese osservavo come il parametro "inclinazione asse del VP" assumeva quasi sempre valore nullo e alla fine, la risultante del valore numerico OPI era fornita quasi esclusivamente dal paramtero "grado di ellitticizzazione".
[B]Lorenzo Smeraldi : [/B]le migliori idee sono sempre quelle che vengono realizzate
Re: OPI "October Pattern Index"
Sta benedetta (maledetta) correlazione "altissima" che tanto aveva fatto alzare i toni e suddetti titoloni da prima pagina.....Ho specificato un'ovvietà \as\ perchè ho la sensazione che troppi, di fronte ad una correlazione statistica di 0,91 (ammesso che tale sia, come già spiegato), pensano/credono che tutte le dinamiche siano spiegate.
Re: OPI "October Pattern Index"
Lorenzo, come sempre, perfetto....il signore di Ostuni, sinceramente, non capisco dove voglia andare a parare.....ultima cosa: esiste si un indice assai più predittivo della AO invernale media ed è, senza alcun dubbio, il SAI di Cohen...SAI che aveva individuato una ao MEDIA ad ottobre scorso, intorno a +0,3/+0,4 ....e se andiamo a vedere i valori medi trimestrali della AO previsti dal SAI in anni recentemente passati, sono stati quasi sempre molto precisi.....ovviamente il SAI sta funzionando ora, non è detto che funzioni sempre per i mille motivi già ben espressi da Lorenzo, Stefano e altri.
Re: OPI "October Pattern Index"
Ho specificato un'ovvietà \as\ perchè ho la sensazione che troppi, di fronte ad una correlazione statistica di 0,91 (ammesso che tale sia, come già spiegato), pensano/credono che tutte le dinamiche siano spiegate.
E certo, perchè l'errore sta nel considerare LINEARE un sistema, quello atmosferico, che lineare non è e che non ha NULLA di definito nel senso che è un sistema assolutamente caotico che nemmeno i mega calcolatori ed inserendo milioni di dati in input, riescono a ORDINARE....figuriamoci se un indice ricostruito su un range di 20/25 anni PASSATI (un range infimo in climatologia) avrebbe potuto descrivere la MEDIA delle dinamiche atmosferiche FUTURE di ben TRE MESI.......e fu quello che immediatamente segnalai a mò di critica e venni tacciato e coperto di epiteti non propriamente simpatici dagli autori e spalleggiatori dell'OPI.
Re: OPI "October Pattern Index"
Sì. E c'è anche un'altra questione ancora molto aperta, secondo me. Pochi ne hanno parlato, ma vorrei evidenziare il fatto che tutto l'impianto teorico si basa su un'assunzione analitica prettamente descrittiva che dovrebbe permettere di prevedere un valore numerico fisicamente misurabile quale l'AO. Ora, tralasciando quel che è già stato detto a proposito della natura dinamica, caotica, non lineare di un sistema nel quale i processi stocastici sono prevalenti, elaborare un modello che permetta di rappresentare un fenomeno fisico misurabile (variabile prognostica) richiede che la variabile analitica sia a sua volta una quantità fisica misurabile (variabile diagnostica). Nell'elaborazione dell'OPI, trovo che ci siano un po' troppe assunzioni di natura descrittivo/soggettiva (grado di ellitticizzazione del VP e inclinazione dell'asse del VP ad ottobre) analizzate su corse modellistiche. Ci sta che nell'analisi di parametri predittivi ci possa essere una certa dose di descrizione soggettiva (quando, per es., si considerano localizzazione di pattern delle SST), ma in questo caso la cosa mi pare un po' troppo prevalente. Per es. l'indice SAI di Cohen è una variabile diagnostica osservabile e fisicamente misurabile.Sempre parlando di "overfitting" nel contesto OPI vorrei provare a condividere qualche speculazione che mi sono fatto nel corso di questi mesi rileggendo più volte il paper sulla ricerca.
Voglio esemplificare circa questo concetto di "overfitting" rispetto ai dati del campione perchè spesso si usa questo termine in modo improprio e per far compredere a quanti faticano a capire come sia possibile l'esistenza di questo problema in un contesto di analisi numerica in ambito statistico.
Partiamo da un punto fisso. L'OPI è la risultante di due valori, il "grado di ellitticizzazione del VP" e "l'inclinazione dell'asse del VP".
Dal momento che il "grado di ellitticizzazione del VP" è calcolato come anomalia di geopotenziale tra polo, nord asia e nord america, già questo valore contiene intrinsicamente un'informzione relativa all'asse del VP perchè è calcolato in riferimento ad un asse.
L'informazione fornita dal parametro "inclinazione dell'asse del VP" potrebbe essere ininfluente (ed omessa ??) e potrebbe contribuire ad autoadattare il valore OPI ai dati osservati, cioè fungere da mero rettificatore di valori.
Da qui potrebbe nascere un problema di overfitting.
Come vedete ho utilizzato condizionali e dubitativi ma credo che non si possa sottovalutare questo aspetto dell'overfitting e reputo che sia materia di approfondimento nel caso OPI.
Tra l'altro, durante la diretta di ottobre 2013 sulla formazione dell'indice OPI nel corso dei 31 giorni del mese osservavo come il parametro "inclinazione asse del VP" assumeva quasi sempre valore nullo e alla fine, la risultante del valore numerico OPI era fornita quasi esclusivamente dal paramtero "grado di ellitticizzazione".
Penso che la cosa possa essere estesa, una sorta di work in progress. Che però cozza fortemente con certe enfasi esponenziali che leggevo a tal proposito lo scorso autunno, ma come dicevo tempo fa io non sono esperto di (e non mi interessa per nulla il) marketing teleconnettivo, per cui non aggiungo altro su questo aspetto della questione.
~~~ Always looking at the sky~~~
Re: OPI "October Pattern Index"
Si quoto,
oltre ad un probabile problema di "overfitting" è presente anche il problema che sollevi e in questo caso non c'e' nemmeno bisogno di usare il condizionale.
Considerazione generale ... mi fa molto piacere poter discutere di queste tematiche circa l'OPI con persone che ancora sanno usare la proria testa nel valutare i lavori. E lo dico con tutta sincerità. Non è un caso che ho sollevato la questione overfitting in questo momento, cioè a giochi invernali chiusi, a riflettori spenti, per non alimentare polemiche e sterili critiche. Credo che ora sia il momento giusto per avanzare critiche costruittive, di sostanza e di metodo, non perchè il valore predetto (1,6) è lontano dal valore reale (0,2) anzi, confesso che mi dispiace per questa debacle, ma perchè è giusto cominciare ad approcciare all'OPI in modo serio e quale periodo migliore quando gli animi sui forum meteo si spengono perchè l'inverno è passato ? \as\
Concludo con un pensiero personale. Sono certo che anche Cohen si mostrerà molto critico verso il lavoro sia per la questione overftting sia per la questione da te sollevata. Più i valori di correlazione sono alti più destano sospetto e critiche in ambito accademico perchè in quella sede si è consapevoli dei rischi che si corrono con le correlazioni statistiche. Finchè non si sperimentano sulla propria pelle tali rischi (come capitato spesso a me ad inizio carriera lavorativa in ambito finanziario) nn ci si rende conto di quanto sia duro e faticoso il lavoro del ricercatore e quanto sia controproducente non aprirsi in modo altrettanto costruttivo alle critiche costruttive
[B]Lorenzo Smeraldi : [/B]le migliori idee sono sempre quelle che vengono realizzate
Re: OPI "October Pattern Index"
Si quoto,
oltre ad un probabile problema di "overfitting" è presente anche il problema che sollevi e in questo caso non c'e' nemmeno bisogno di usare il condizionale.
Considerazione generale ... mi fa molto piacere poter discutere di queste tematiche circa l'OPI con persone che ancora sanno usare la proria testa nel valutare i lavori. E lo dico con tutta sincerità. Non è un caso che ho sollevato la questione overfitting in questo momento, cioè a giochi invernali chiusi, a riflettori spenti, per non alimentare polemiche e sterili critiche. Credo che ora sia il momento giusto per avanzare critiche costruittive, di sostanza e di metodo, non perchè il valore predetto (1,6) è lontano dal valore reale (0,2) anzi, confesso che mi dispiace per questa debacle, ma perchè è giusto cominciare ad approcciare all'OPI in modo serio e quale periodo migliore quando gli animi sui forum meteo si spengono perchè l'inverno è passato ? \as\
Concludo con un pensiero personale. Sono certo che anche Cohen si mostrerà molto critico verso il lavoro sia per la questione overftting sia per la questione da te sollevata. Più i valori di correlazione sono alti più destano sospetto e critiche in ambito accademico perchè in quella sede si è consapevoli dei rischi che si corrono con le correlazioni statistiche. Finchè non si sperimentano sulla propria pelle tali rischi (come capitato spesso a me ad inizio carriera lavorativa in ambito finanziario) nn ci si rende conto di quanto sia duro e faticoso il lavoro del ricercatore e quanto sia controproducente non aprirsi in modo altrettanto costruttivo alle critiche costruttive
Forse ti è sfuggito?
Incontro sulla meteorologia
Di cosa stai parlando? Magari c'è gente che semplicemente non ha tempo di venire su un forum a rispondere alle "critiche costruttive"... Grazie per i consiglinn ci si rende conto di quanto sia duro e faticoso il lavoro del ricercatore e quanto sia controproducente non aprirsi in modo altrettanto costruttivo alle critiche costruttive
Filippo Casciani membro del CSCT TEAM
Permessi di Scrittura
Rispondi Citando
Segnalibri