Campionamento di Gibbs

Natura	Algoritmo
Inventori	Stuart Geman ( a ) , Donald Geman ( a )
Data di invenzione	1984
Chiamato in riferimento a	Josiah Willard Gibbs
Aspetto di	Metodo Monte-Carlo delle catene di Markov

Il campionamento di Gibbs è un MCMC . Data una distribuzione di probabilità $π$ su un universo $Ω$ , questo algoritmo definisce una catena di Markov la cui distribuzione stazionaria è $π$ . Permette così di disegnare in modo casuale un elemento di $Ω$ secondo la legge $π$ (si parla di campionamento ).

introduzione

Come con tutti i metodi Monte-Carlo della catena Markov,

ci poniamo in uno spazio vettoriale Ɛ di dimensione finita n ;
vogliamo generare casualmente N vettori x ( i ) secondo una distribuzione di probabilità π;
per semplificare il problema, determiniamo una distribuzione q x ( i ) che permetta di generare casualmente x ( i + 1) da x ( i ) .

La specificità del campionamento di Gibbs consiste nel "dividere" q x ( i ) in n probabilità condizionali:

la prima componente del vettore, x ( i + 1) 1 , è generata dalla probabilità condizionata π ( x 1 | x ( i ) 2 , x ( i ) 3 ,…, x ( i ) n );
la seconda componente del vettore, x ( i + 1) 2 , è generata dalla probabilità condizionata π ( x 2 | x ( i + 1) 1 , x ( i ) 3 ,…, x ( i ) n );
la componente j del vettore, x ( i + 1) j , è generata dalla probabilità condizionata π ( x j | x ( i + 1) 1 , x ( i + 1) 2 ,…, x ( i + 1) j - 1 , x ( i ) j + 1 ,…, x ( i ) n ).

Sostituiamo quindi il problema della generazione casuale di x ( i + 1) con n problemi che speriamo siano più semplici.

Principio

Sia $X = ( X i , i \in S )$ una variabile con distribuzione $π$ nello spazio dei siti $S = ⟦1; n ⟧$ verso lo spazio stato $Ω$ . Per $x = ( x 1 ;\dots; x n ) \in Ω$ e le densità condizionali $π i ( x i | x \neg i )$ dove $x \neg i = ( x j , j \neq i ), i \in S$ , costruiamo le Gibbs campionatore su kernel invarianti $π$ : $P i ( x , y ) = π i ( y i | x \neg i ) 1 ( x \neg i = y \neg i )$ .

Campionatore a scansione sistematica

Visitiamo $S in$ sequenza, rilasciando ad ogni passo $i$ il valore secondo la legge $π i$ condizionato allo stato corrente. La transizione da $x$ a $y è$ scritta: $P \ sinistra (x; y \ destra) = \ prod _ {{i = 1}} ^ {n} \ pi _ {i} \ sinistra (y_ {i} | y_ {1}, \ dotsc, y _ { {i-1}}, x _ {{i + 1}}, \ dotsc, x_ {n} \ right)$

Campionatore di sweep casuale

Sia $ν$ una probabilità di $S$ mai nulla . Ad ogni passaggio, viene scelto un sito $i$ con probabilità $ν i > 0$ e il valore y viene rilassato secondo la legge condizionale $π i$ nello stato corrente. La transizione è scritta: $P \ sinistra (x; y \ destra) = \ sum _ {{i = 1}} ^ {n} \ nu _ {i} \ pi _ {i} \ sinistra (y_ {i} | x _ {{\ neg {i}}} \ right) {\ mathbf {1}} \ left (x _ {{\ neg i}} = y _ {{\ neg i}} \ right)$

Proprietà

Se $Ω$ è finito, la transizione $P$ è strettamente positiva e la velocità di convergenza di $νP k$ è esponenziale.
$π$ può essere conosciuto fino a un fattore moltiplicativo.

Bibliografia

C. Gaetan e X. Guyon , cap. 9 "Simulation of spatial models" , in Jean-Jacques Droesbeke, Michel Lejeune e Gilbert Saporta, Statistical analysis of spatial data: 10 th Study days in statistics, 4-8 November 2002, Marseille, Société française de statistique , Paris, Technip,2006, 468 p. ( ISBN 978-2-7108-0873-2 , avviso BnF n o FRBNF40225776 )