Covarianza

Nella teoria della probabilità e nella statistica , la covarianza tra due variabili casuali è un numero che consente di quantificare le loro deviazioni congiunte dalle rispettive aspettative . Viene anche utilizzato per due serie di dati numerici (deviazioni dalle medie ). La covarianza di due variabili casuali indipendenti è zero, sebbene non sia sempre vero il contrario.

La covarianza è un'estensione della nozione di varianza . La correlazione è una forma normalizzata di covarianza (la dimensione della covarianza tra le due variabili è il prodotto delle loro dimensioni, mentre la correlazione è una variabile adimensionale ).

Questo concetto è naturalmente generalizzato a più variabili ( vettore casuale ) dalla matrice di covarianza (o matrice di varianza-covarianza ) che, per un insieme di p variabili aleatorie reali X 1 , ecc., X p è la matrice quadrata il cui elemento di la riga i e la colonna j sono la covarianza delle variabili X i e X j . Questa matrice permette di quantificare la variazione di ogni variabile rispetto a ciascuna delle altre. La forma normalizzata della matrice di covarianza è la matrice di correlazione .

Ad esempio, la dispersione di un insieme di punti casuali in uno spazio bidimensionale può non essere pienamente caratterizzato da un singolo numero, né dalla varianze nelle x ed y indicazioni alone  ; una matrice 2 × 2 permette di comprendere appieno la natura bidimensionale delle variazioni.

La matrice di covarianza essendo un semi positiva definita matrice , può essere diagonalizzata e lo studio di autovalori e autovettori permette di caratterizzare la distribuzione utilizzando una base ortogonale  : questo approccio è l'oggetto della delle componenti principali che può essere visto come un tipo di compressione delle informazioni.

Definizione covariance

La covarianza di due variabili casuali reali X e Y ciascuna avente una varianza (finita), denotata Cov ( X, Y ) o talvolta σ XY , è il valore:

Definizione  - Cov⁡(X,Y)≡E⁡[(X-E⁡[X])(Y-E⁡[Y])]{\ Displaystyle \ operatorname {Cov} (X, Y) \ equiv \ operatorname {E} [(X- \ operatorname {E} [X]) \, (Y- \ operatorname {E} [Y])]}

dove indica l' aspettativa matematica . La varianza di X è quindi Var ( X ) = Cov ( X , X ). E⁡[] {\ Displaystyle \ operatorname {E} [] \}

Intuitivamente, la covarianza caratterizza le variazioni simultanee di due variabili casuali: sarà positiva quando le differenze tra le variabili e le loro medie tendono ad essere dello stesso segno, altrimenti negativa.

Secondo la sua definizione di espressione, la dimensione di covarianza è il prodotto delle dimensioni delle variabili. D'altra parte, la correlazione , che è espressa usando la varianza e la covarianza, assume i suoi valori in [-1, 1] e rimane adimensionale.

Si dice che due variabili casuali la cui covarianza è zero non siano correlate: anche la loro correlazione è zero.

Per due variabili casuali discrete X e Y che assumono i loro valori rispettivamente in due insiemi finiti e abbiamo  {Xio|1≤io≤non},{\ displaystyle \ \ {x_ {i} \, | \, 1 \ leq i \ leq n \},} {yj|1≤j≤m},{\ displaystyle \ \ {y_ {j} \, | \, 1 \ leq j \ leq m \},}

Cov⁡(X,Y)=∑io=1non∑j=1mXioyjP⁡(X=Xio e Y=yj)-E⁡[X]E⁡[Y].{\ Displaystyle \ operatorname {Cov} (X, Y) = \ sum _ {i = 1} ^ {n} \ sum _ {j = 1} ^ {m} \, x_ {i} y_ {j} \ operatorname {P} (X = x_ {i} \ {\ textrm {e}} \ Y = y_ {j}) - \ operatorname {E} [X] \ operatorname {E} [Y].}

mentre:

σX2=∑io=1nonXio2P⁡(X=Xio)-E⁡[X]2eσY2=∑j=1myj2P⁡(Y=yj)-E⁡[Y]2.{\ Displaystyle \ sigma _ {X} ^ {2} = \ sum _ {i = 1} ^ {n} x_ {i} ^ {2} \ operatorname {P} (X = x_ {i}) - \ operatorname {E} [X] ^ {2} \ quad {\ textrm {e}} \ quad \ sigma _ {Y} ^ {2} = \ sum _ {j = 1} ^ {m} y_ {j} ^ { 2} \ operatorname {P} (Y = y_ {j}) - \ operatorname {E} [Y] ^ {2}.}

Definizione della matrice di covarianza

La matrice di covarianza di un vettore di p variabili casuali , ciascuna delle quali ha una varianza, è la matrice quadrata il cui termine generico è dato da X→=(X1⋮Xp){\ displaystyle {\ vec {X}} = {\ begin {pmatrix} X_ {1} \\\ vdots \\ X_ {p} \ end {pmatrix}}}

aio,j=Cov(Xio,Xj){\ displaystyle a_ {i, j} = {\ textrm {Cov}} \ left (X_ {i}, X_ {j} \ right)}

La matrice di covarianza, a volte annotata , è definita da Σ{\ displaystyle {\ boldsymbol {\ Sigma}}}

Definizione  - Var⁡(X→)≡E⁡[(X→-E⁡(X→))(X→-E⁡(X→))T]{\ Displaystyle \ operatorname {Var} ({\ vec {X}}) \ equiv \ operatorname {E} [({\ vec {X}} - \ operatorname {E} ({\ vec {X}})) ( {\ vec {X}} - \ operatorname {E} ({\ vec {X}})) ^ {T}]}

Espandendo i termini:

Var⁡(X→)=(Var⁡(X1)Cov⁡(X1,X2)⋯Cov⁡(X1,Xp)Cov⁡(X2,X1)⋱⋯⋮⋮⋮⋱⋮Cov⁡(Xp,X1)⋯⋯Var⁡(Xp))=(σX12σX1X2⋯σX1XpσX2X1⋱⋯⋮⋮⋮⋱⋮σXpX1⋯⋯σXp2){\ Displaystyle \ operatorname {Var} ({\ vec {X}}) = {\ begin {pmatrix} \ operatorname {Var} (X_ {1}) & \ operatorname {Cov} (X_ {1}, X_ {2 }) & \ cdots & \ operatorname {Cov} (X_ {1}, X_ {p}) \\\ operatorname {Cov} (X_ {2}, X_ {1}) & \ ddots & \ cdots & \ vdots \ \\ vdots & \ vdots & \ ddots & \ vdots \\\ operatorname {Cov} (X_ {p}, X_ {1}) & \ cdots & \ cdots & \ operatorname {Var} (X_ {p}) \ end {pmatrix}} = {\ begin {pmatrix} \ sigma _ {x_ {1}} ^ {2} & \ sigma _ {x_ {1} x_ {2}} & \ cdots & \ sigma _ {x_ {1} x_ {p}} \\\ sigma _ {x_ {2} x_ {1}} & \ ddots & \ cdots & \ vdots \\\ vdots & \ vdots & \ ddots & \ vdots \\\ sigma _ {x_ { p} x_ {1}} & \ cdots & \ cdots & \ sigma _ {x_ {p}} ^ {2} \ end {pmatrix}}}

Proprietà di covarianza

Una generalizzazione del teorema di König-Huygens per la varianza implica:

Proprietà  - Cov⁡(X,Y)=E⁡(XY)-E⁡(X)E⁡(Y){\ Displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y)}

Corollario  -  Se X e Y sono indipendenti, allora . Cov⁡(X,Y)=0{\ displaystyle \ operatorname {Cov} (X, Y) = 0}

Il contrario generalmente non è vero.

Controesempio

È sufficiente trovare due variabili X e Y con covarianza zero e che non sono indipendenti. Sia z una variabile discreta che può assumere i valori 1 o -1 in modo equiprobabile (secondo una legge di Rademacher ).

Sia X una qualsiasi variabile casuale indipendente da z . Allora X e Y = z X sono chiaramente non indipendenti. tuttavia

Cov⁡(X,Y)=E⁡(XY)-E⁡(X)E⁡(Y)=E⁡(z)Var⁡(X)=0.{\ Displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y) = \ operatorname {E} (z) \ operatorname {Var} (X) = 0.}

Proprietà  - 

• Cov⁡(X,X)=Var⁡(X){\ Displaystyle \ operatorname {Cov} (X, X) = \ operatorname {Var} (X)}
• Cov⁡(X,Y)=Cov⁡(Y,X){\ Displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {Cov} (Y, X)}
• Cov⁡(vsX,Y)=vsCov⁡(X,Y){\ Displaystyle \ operatorname {Cov} (cX, Y) = c \ operatorname {Cov} (X, Y)}dove c è una costante
• Cov⁡(X+vs,Y)=Cov⁡(X,Y){\ Displaystyle \ operatorname {Cov} (X + c, Y) = \ operatorname {Cov} (X, Y)}dove c è una costante
• Cov⁡(X+Y,Z)=Cov⁡(X,Z)+Cov⁡(Y,Z){\ Displaystyle \ operatorname {Cov} (X + Y, Z) = \ operatorname {Cov} (X, Z) + \ operatorname {Cov} (Y, Z)}dove X , Y e Z sono tre variabili

Bilinearità della covarianza:

Proprietà  -  Cov⁡(∑ioXio ,∑jYj)=∑io∑jCov⁡(Xio,Yj){\ Displaystyle \ operatorname {Cov} \ left (\ sum _ {i} {X_ {i}} \, \ sum _ {j} {Y_ {j}} \ right) = \ sum _ {i} {\ sum _ {j} {\ nomeoperatore {Cov} \ sinistra (X_ {i}, Y_ {j} \ destra)}}}

Ciò riflette il fatto che la covarianza è una forma bilineare simmetrica positiva e che la forma quadratica associata è la varianza.

Corollario  -  Var⁡(aX+bY)=a2Var⁡(X)+b2Var⁡(Y)+2abCov⁡(X,Y){\ Displaystyle \ operatorname {Var} (aX + bY) = a ^ {2} \ operatorname {Var} (X) + b ^ {2} \ operatorname {Var} (Y) + 2ab \ operatorname {Cov} (X , Y)}

Questa formula è l'analogo di . In effetti, la maggior parte delle proprietà di covarianza sono analoghe a quelle del prodotto di due reali o del prodotto scalare di due vettori.(X+y)2=X2+y2+2Xy{\ displaystyle (x + y) ^ {2} = x ^ {2} + y ^ {2} + 2xy}

Proprietà  -  Var⁡(∑io=1nonXio)=∑io=1nonVar⁡(Xio)+2∑1≤io<j≤nonCov⁡(Xio,Xj){\ Displaystyle \ operatorname {Var} \ left (\ sum _ {i = 1} ^ {n} {X_ {i}} \ right) = \ sum _ {i = 1} ^ {n} \ operatorname {Var} (X_ {i}) + 2 \ sum _ {1 \ leq i <j \ leq n} \ operatorname {Cov} (X_ {i}, X_ {j})}

Questa formula è classica per una forma quadratica associata a una forma bilineare simmetrica .

Proprietà della matrice di covarianza

• La matrice di covarianza è simmetrica  ; i suoi elementi diagonali sono le varianze e gli elementi extra-diagonali sono le covarianze delle coppie di variabili.
• La matrice di covarianza è semi- definita positiva (i suoi autovalori sono positivi o zero). È definito positivo (autovalori strettamente positivi) se non esiste una relazione affine quasi certa tra i componenti del vettore casuale.
• È una mappatura lineare di matrice . Sia un vettore casuale con una matrice di covarianza di . Allora il vettore casuale ha la matrice di covarianzaF{\ displaystyle F}Mm,non(R){\ displaystyle M_ {m, n} (R)}M{\ displaystyle M}
  X→=(X1⋮Xnon){\ displaystyle {\ vec {X}} = {\ begin {pmatrix} X_ {1} \\\ vdots \\ X_ {n} \ end {pmatrix}}}VS{\ displaystyle C}Mnon(R){\ displaystyle M_ {n} (R)}
  F(X){\ displaystyle F (X)}MVSMT.{\ displaystyle M \, C \, M ^ {T}.}
• L' inversa della matrice di covarianza viene talvolta definita "matrice di precisione".

Stima

Partendo da un campione di realizzazioni indipendenti di un vettore casuale, uno stimatore imparziale della matrice di covarianza è dato da

Var^⁡(X→)=1non-1∑io=1non(X→io-X→¯)(X→io-X→¯)T{\ Displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ over {n-1}} \ sum _ {i = 1} ^ {n} ({\ vec {X }} _ {i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}}dov'è il vettore dei mezzi empirici.X→¯=1non∑io=1nonX→io{\ displaystyle {\ overline {\ vec {X}}} = {1 \ over {n}} \ sum _ {i = 1} ^ {n} {\ vec {X}} _ {i}}

Lo stimatore della covarianza di due variabili X e Y è solo un caso speciale:

VSov^⁡(X,Y)=1non-1∑io=1non(Xio-X¯)(Yio-Y¯).{\ Displaystyle \ operatorname {\ widehat {Cov}} (X, Y) = {1 \ over {n-1}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ overline { X}}) (Y_ {i} - {\ overline {Y}}).}

Quando X segue una distribuzione normale multidimensionale , lo stimatore di massima verosimiglianza vale invece:

Var^⁡(X→)=1non∑io=1non(X→io-X→¯)(X→io-X→¯)T.{\ Displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ over n} \ sum _ {i = 1} ^ {n} ({\ vec {X}} _ { i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}.}

Nel caso in cui i dati siano generati da una legge normale multidimensionale, lo stimatore di massima verosimiglianza segue una legge di Wishart .

Il test di sfericità di Bartlett per giudicare se i coefficienti extra-diagonali della matrice sono generalmente inesistenti.

Per i processi stocastici che si occupano dell'evoluzione di una variabile casuale, la covarianza lascia il posto ai concetti di autocovarianza e autocorrelazione e per stimare la densità spettrale per processi stazionari .

Esempi

• In un forum su Internet, qualcuno afferma che l'attività del forum è più intensa nei giorni di luna piena. Potremmo non avere il calendario della luna piena, ma se questa affermazione è corretta e se nominiamo N ( t ) il numero di contributi nel giorno t , la covarianza cumulativa tra N ( t ) e N ( t +29) su tutti i valori Di t , sarà probabilmente maggiore delle covarianze tra N ( t ) e N ( t + x ) per valori di x diversi da 29 ( periodo sinodico della luna).
• Un processo stocastico X t su uno spazio metrico S si dice di covarianza isotropa se la sua covarianza tra due variabili dipende solo dalla distanza tra gli indici:

∃f:R+↦R,∀t,S∈S,Cov⁡(XS,Xt)=f(‖S-t‖){\ displaystyle \ esiste f: \ mathbb {R} ^ {+} \ mapsto \ mathbb {R}, \ forall t, s \ in S, \ operatorname {Cov} \ left (X_ {s}, X_ {t} \ right) = f \ left (\ left \ | st \ right \ | \ right)} Se X è un processo isotropo centrato su ℝ d , l'autocorrelazione isotropa soddisfa ρ (‖ h ‖) ≥  −1 ⁄ d .

Utilizzare nelle statistiche

La matrice di covarianza è uno strumento essenziale per l'analisi multivariata  :

• il PCA che opera la diagonalizzazione di questa matrice;
• l' analisi discriminante che si basa sull'esame dei coefficienti di questa matrice.

Altre applicazioni

La conoscenza delle covarianze è molto spesso essenziale nelle funzioni di stima , filtraggio e livellamento . In fotografia , consentono di raggiungere la corretta messa a fuoco drammaticamente sfocata e sfocatura del movimento, che è estremamente importante per le immagini astronomiche. Inoltre vengono utilizzati automaticamente . Nella sociolinguistica , la covarianza designa la corrispondenza tra l'appartenenza a una certa classe sociale e un certo linguaggio inerente a questa condizione sociale. Le matrici di covarianza vengono utilizzate per metodi di analisi della scomposizione ortogonale di kriging e autovalori . Infine, è ancora utilizzato in finanza, per giudicare se due investimenti tendono ad evolversi nella stessa direzione, in direzioni opposte, o se i loro valori non sono collegati.

Vedi anche

• Legge normale multidimensionale
• Autocovarianza
• Matrice di correlazione
• Analisi del componente principale
• La covarianza di Matérn
• Tabella di contingenza

Note e riferimenti

1. Si presume che le variabili appartengano allo spazio vettoriale delle variabili casuali integrabili quadrate.L2(Ω,B,P){\ displaystyle L ^ {2} (\ Omega, {\ mathcal {B}}, \ operatorname {P})}