Processo di Markov a tempo continuo
Nella teoria della probabilità , un processo di Markov a tempo continuo , o catena di Markov a tempo continuo, è una variante a tempo continuo del processo di Markov . Più precisamente, si tratta di un modello matematico con valore in un insieme numerabile, gli stati, in cui il tempo trascorso in ciascuno degli stati è una variabile casuale reale positiva, secondo una legge esponenziale .
Questo oggetto viene utilizzato per modellare l'evoluzione di alcuni sistemi, come le code.
Generatore e definizioni infinitesimali
Una catena di Markov a tempo continuo ( X t ) t ≥0 è caratterizzata da
- un insieme finito o numerabile S di stati;
- una prima distribuzione su tutti gli stati;
- una matrice di velocità di transizione Q , chiamata anche generatore infinitesimale (di dimensione | S | ² ).
Per i ≠ j , gli elementi q ij della matrice Q sono reali positivi che quantificano la velocità di transizione dallo stato i allo stato j . Gli elementi q ii sono scelti in modo che le colonne di ogni riga siano zero, cioè
qioio=-∑j≠ioqioj{\ displaystyle q_ {ii} = - \ sum _ {j \ neq i} q_ {ij}}Esistono diversi modi equivalenti per definire il processo ( X t ) t ≥0 .
Definizione infinitesimale
Sia X t la variabile casuale che descrive lo stato del processo al tempo t . Per tutti i positivi t e h , condizionatamente su { X t = i }, X t + h è indipendente da ( X s : s ≤ t ) e, per h tendente a 0, abbiamo per ogni j
Pr(X(t+h)=j∣X(t)=io)=δioj+qiojh+o(h),{\ Displaystyle \ Pr (X (t + h) = j \ mid X (t) = i) = \ delta _ {ij} + q_ {ij} h + o (h),}dove δ ij denota il delta di Kronecker .
Definizione per salti
Sia Y n lo stato del processo dopo il suo ennesimo salto e S n il tempo trascorso nello stato Y n . Allora ( Y n ) n ≥0 è una catena di Markov a tempo discreto e, condizionatamente a ( Y 0 , ..., Y n ), i tempi di attesa ( S 0 , ..., S n ) sono variabili esponenziali indipendenti di rispettivi parametri .
(-qY0Y0,...,-qYnonYnon){\ displaystyle (-q_ {Y_ {0} Y_ {0}}, \ ldots, -q_ {Y_ {n} Y_ {n}})}
Definizione in base alle probabilità di transizioni
Per tutti i tempi t 0 , t 1 , ... e per tutti gli stati corrispondenti i 0 , i 1 , ..., abbiamo
Pr(Xtnon+1=ionon+1|Xt0=io0,Xt1=io1,...,Xtnon=ionon)=piononionon+1(tnon+1-tnon),{\ displaystyle \ Pr (X_ {t_ {n + 1}} = i_ {n + 1} | X_ {t_ {0}} = i_ {0}, X_ {t_ {1}} = i_ {1}, \ ldots, X_ {t_ {n}} = i_ {n}) = p_ {i_ {n} i_ {n + 1}} (t_ {n + 1} -t_ {n}),}dove p ij è la soluzione dell'equazione di Kolmogorov (en) :
P′(t)=P(t)Q,{\ displaystyle P '(t) = P (t) Q,}con la condizione iniziale P (0) = I , la matrice identità . Risolvere questa equazione porta quindi a
P(t)=etQ.{\ displaystyle P (t) = e ^ {tQ}.}
Proprietà
Irriducibilità
Uno stato j si dice accessibile da un altro stato i (scritto i → j ) se è possibile ottenere j da i . Cioè, se:
∃t≥0, Prio(X(t)=j)>0.{\ displaystyle \ exist {t} \ geq 0 {\ text {,}} \ operatorname {Pr} _ {i} (X (t) = j)> 0.}Diciamo di uno stato i che comunica con uno stato j (scritto i ↔ j ) se i → j e j → i . Un insieme di stati C è una classe comunicante se ogni coppia di memorie di C comunicano tra loro, e se non statali C comunica con un non-stato attuale in C . Poiché la comunicazione è una relazione di equivalenza , lo spazio degli stati S può essere suddiviso in un insieme di classi comunicanti. Un processo di Markov a tempo continuo è irriducibile se l' intero spazio S è una singola classe comunicante.
Per tutto e nella stessa classe C comunicante , possiamo mostrare (usando proprietà di subadditività ) che il limite
io{\ displaystyle i}j{\ displaystyle j}
limt→+∞logpio,j(t)t{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}}}esiste e non dipende da o da ; lo notiamo .
io{\ displaystyle i}j{\ displaystyle j}λ(VS){\ displaystyle \ lambda (C)}
Dimostrazione
Abbiamo . Mettiamoci in posa . Quindi e . Questa subadditività implica che il limite
pio,io(S+t)≥pio,io(S)pio,io(t){\ Displaystyle p_ {i, i} (s + t) \ geq p_ {i, i} (s) p_ {i, i} (t)}ϕio(t)=-logpio,io(t){\ displaystyle \ phi _ {i} (t) = - \ log p_ {i, i} (t)}ϕio(t)≥0{\ displaystyle \ phi _ {i} (t) \ geq 0}ϕio(S+t)≤ϕio(S)+ϕio(t){\ Displaystyle \ phi _ {i} (s + t) \ leq \ phi _ {i} (s) + \ phi _ {i} (t)}
λio=limt→+∞ϕio(t)t=inft≥0ϕio(t)t{\ displaystyle \ lambda _ {i} = \ lim _ {t \ to + \ infty} {\ frac {\ phi _ {i} (t)} {t}} = \ inf _ {t \ geq 0} { \ frac {\ phi _ {i} (t)} {t}}}esiste con . Quindi e . Altrimenti,
λio≥0{\ displaystyle \ lambda _ {i} \ geq 0}ϕio(t)≥λiot{\ displaystyle \ phi _ {i} (t) \ geq \ lambda _ {i} t}pio,io(t)≤e-λiot{\ displaystyle p_ {i, i} (t) \ leq e ^ {- \ lambda _ {i} t}}
pio,j(a)pj,j(t)pj,io(b)≤pio,io(t+a+b)≤e-λio(t+a+b).{\ Displaystyle p_ {i, j} (a) p_ {j, j} (t) p_ {j, i} (b) \ leq p_ {i, i} (t + a + b) \ leq e ^ { - \ lambda _ {i} (t + a + b)}.}Quindi e . Invertendo i ruoli di e , lo troviamo . Finalmente,
pj,j(t)≤Ke-λiot{\ displaystyle p_ {j, j} (t) \ leq Ke ^ {- \ lambda _ {i} t}}λj≥λio{\ displaystyle \ lambda _ {j} \ geq \ lambda _ {i}}io{\ displaystyle i}j{\ displaystyle j}λio=λj=λ{\ displaystyle \ lambda _ {i} = \ lambda _ {j} = \ lambda}
logpio,j(a)t+logpj,j(t-a)t≤logpio,j(t)t≤logpj,j(t+a)t-logpj,io(a)t.{\ displaystyle {\ frac {\ log p_ {i, j} (a)} {t}} + {\ frac {\ log p_ {j, j} (ta)} {t}} \ leq {\ frac { \ log p_ {i, j} (t)} {t}} \ leq {\ frac {\ log p_ {j, j} (t + a)} {t}} - {\ frac {\ log p_ {j , i} (a)} {t}}.}L'arto sinistro tende verso . Anche il membro di destra. Quindi tende verso .
-λ{\ displaystyle - \ lambda}(logpio,j(t))/t{\ displaystyle (\ log p_ {i, j} (t)) / t}-λ{\ displaystyle - \ lambda}
Ad esempio, in una catena in cui lo stato 0 è assorbente, dove gli stati {1,2, ...} formano una classe comunicante e dove il sistema è assorbito quasi sicuramente dallo stato 0, il limite fornisce la velocità di assorbimento della catena d, a volte riferito come parametro Kingman .
Un altro esempio. Si consideri il random walk sul set di interi cui il generatore è data da , , e per altri indizi. La matrice è una matrice Toeplitz tridiagonale . Allora
{...,-2,-1,0,1,2,...}{\ displaystyle \ {..., - 2, -1,0,1,2, ... \}}Qio,io=-1{\ displaystyle Q_ {i, i} = - 1}Qio,io+1=p{\ displaystyle Q_ {i, i + 1} = p} (0<p<1){\ displaystyle (0 <p <1)}Qio,io-1=q=1-p{\ displaystyle Q_ {i, i-1} = q = 1-p}Qio,j=0{\ displaystyle Q_ {i, j} = 0}Q{\ displaystyle Q}
limt→+∞logpio,j(t)t=2pq-1.{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}Notiamo che il limite è strettamente negativo se e zero se .
p≠1/2{\ displaystyle p \ neq 1/2}p=1/2{\ displaystyle p = 1/2}
Dimostrazione
Il sistema si sposta di un passo a destra con una probabilità e un passo a sinistra con una probabilità dopo un tempo distribuito esponenzialmente di media 1. Dopo un certo tempo , ci saranno stati salti con una probabilità (è un processo di Poisson ). Il sistema avrà finalmente spostato i passaggi a destra ( ) se ha eseguito i passaggi a destra e i passaggi a sinistra (quindi un totale di passaggi). pertanto
p{\ displaystyle p}q{\ displaystyle q}t{\ displaystyle t}j{\ displaystyle j}e-ttj/j!{\ displaystyle e ^ {- t} t ^ {j} / j!}K{\ displaystyle k}K≥0{\ displaystyle k \ geq 0}K+r{\ displaystyle k + r}r{\ displaystyle r}K+2r{\ displaystyle k + 2r}
pio,io+K(t)=∑r=0+∞e-ttK+2r(K+2r)!(K+2rr)qrpK+r{\ Displaystyle p_ {i, i + k} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r)!}} {K + 2r \ scegli r} q ^ {r} p ^ {k + r}}si . Lo notiamo
K≥0{\ displaystyle k \ geq 0}
pio,io+K(t)=e-t(p/q)K/2∑r=0+∞(pqt)K+2rr!(K+r)!=e-t(p/q)K/2ioK(2tpq),{\ Displaystyle p_ {i, i + k} (t) = e ^ {- t} (p / q) ^ {k / 2} \ sum _ {r = 0} ^ {+ \ infty} {\ frac { ({\ sqrt {pq}} t) ^ {k + 2r}} {r! (k + r)!}} = e ^ {- t} (p / q) ^ {k / 2} I_ {k} (2t {\ sqrt {pq}}),}dov'è la funzione di Bessel modificata del primo tipo. Allo stesso modo,
ioK(⋅){\ displaystyle I_ {k} (\ cdot)}
pio,io-K(t)=∑r=0+∞e-ttK+2r(K+2r)!(K+2rr)prqK+r=e-t(p/q)-K/2ioK(2tpq){\ Displaystyle p_ {i, ik} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r )!}} {k + 2r \ scegli r} p ^ {r} q ^ {k + r} = e ^ {- t} (p / q) ^ {- k / 2} I_ {k} (2t { \ sqrt {pq}})}si . Finalmente,
K<0{\ displaystyle k <0}
pio,j(t)=e-t(p/q)(j-io)/2io|j-io|(2tpq).{\ displaystyle p_ {i, j} (t) = e ^ {- t} (p / q) ^ {(ji) / 2} I_ {| ji |} (2t {\ sqrt {pq}}).}Come quando , così abbiamo
ionon(X)∼eX/2πX{\ displaystyle I_ {n} (x) \ sim e ^ {x} / {\ sqrt {2 \ pi x}}}X→+∞{\ displaystyle x \ to + \ infty}
limt→+∞logpio,j(t)t=2pq-1.{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}
Applicazioni
Teoria delle code
Un'area di applicazione dei processi di Markov a tempo continuo è la teoria delle code . Ad esempio una coda M / M / 1 (secondo la notazione di Kendall ) è un modello in cui un processore deve elaborare le richieste, che si accumulano (in ordine) in una coda. Le richieste arrivano secondo una legge esponenziale delle tariffe e il processore le processa con una legge esponenziale delle tariffe . La stringa sottostante è:
λ{\ displaystyle \ lambda}μ{\ displaystyle \ mu}
E la matrice dei tassi (generatore infinitesimale) è:
Q=(-λλμ-(μ+λ)λμ-(μ+λ)λμ-(μ+λ)λ⋱){\ Displaystyle Q = {\ begin {pmatrix} - \ lambda & \ lambda \\\ mu & - (\ mu + \ lambda) & \ lambda \\ & \ mu & - (\ mu + \ lambda) & \ lambda \\ && \ mu & - (\ mu + \ lambda) & \ lambda & \\ &&&& \ ddots \ end {pmatrix}}}
Note e riferimenti
-
( Norris 1997 , Teorema 2.8.2)
Bibliografia
- P. Désesquelles: Processi di Markov in biologia, sociologia, geologia, chimica, fisica e applicazioni industriali. Ellissi, 2016.
- E. Pardoux: processi e applicazioni di Markov. Dunod, 2007.
- B. Sericola: Catene di Markov - Teoria, algoritmi e applicazioni. Lavoisier, 2013.
- (en) JR Norris , Markov Chains , Cambridge University Press ,1997
- JFC Kingman: il decadimento esponenziale delle probabilità di transizione di Markov . Proc. London Math. Soc. (1963) 337-358.
Link esterno
Capitolo "Processo di Poisson" del corso di master "Modelli stocastici" (2002) di Dominique Bakry sull'argomento, più orientato alla teoria della misura .
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">