CADENAS DE MARKOV

Condiciones generales:

 

Si P [Sj(k) / Sa(k-1), Sb(k-2), Sc(k-3).....] = P[Sj(k) / Sa(k-1)] para todo k, j,a, b, c,..... Entonces el sistema es un estado discreto de discretas transiciones de procesos de Markov. La implicación de esta condición es que la historia anterior del sistema a su llegada en (a) no tiene efecto en la transición a (j). En otras palabras, el sistema no tiene memoria.

Probabilidades de transición:

Para una cadena de Markov, se definen las probabilidades de transición como:

p_ij  = P[Sj(k) / Si(k-1)]     1<= i,j <= m

y las p_ij  son independientes de (k). Estas probabilidades pueden ser incluidas en una matriz de transición,

	P11	P12	........................	P1m
	P21	P22	........................	P2m
P=	.	.	.	.
	.	.	.	.
	Pm1	Pm2	........................	Pmm

También note que las transiciones de probabilidad satisfacen

0<=p_ij<=1

y

m

S pij =1,      i = 1,2,3...........,m

.j=1

Debido a que los estados son mutuamente excluyentes y colectivamente exhaustivos.

La matriz P, proporciona una completa descripción del proceso de Markov el cual se usara para responder numerosas preguntas sobre un sistema. Por ejemplo,

1. Cuál es la probabilidad que el sistema este en Si después de k transiciones si el estado en k=0 es conocido?

Se puede responder la pregunta así:

P[Sj(k+1)]=P[S1(k)p_1j+P[S2(k)]p_2j+......+P[Sm(k)]p_mj,

Donde P[Sj(k+1)]=probabilidad que el sistema este en el estado Sj en el tiempo k+1.

En la ecuación anterior, j=1,2,.....,m. O de la siguiente forma:

P(k+1) = P(k)P , k=0,1,2......

Para responder a la pregunta 1 por inducción

	P(1) =	P(0)P
P(2)=	P(1)P=	P(0)P2
.	.	.
.	.	.
	P(k) =	P(0)Pk
		k=0,1,2......

Clasificación de los estados:

1. Límite de las probabilidades de estado:

Si k tiende a infinito, P(k) llega a una constante, entonces el limite de las probabilidades de estado existe y son independientes de la condición inicial.

Si p es un vector 1 x m  definido como,

Lim_kàinfinito P(k)= p

Entonces p puede satisfacer  p =pP.

Para el ejemplo, esta ecuación se puede ser resueltacon la restricción

S_i^m p_i =1  para obtener (p₁       p₂)

2. Estado transitorio

S_i  es un estado transitorio si se puede dejar el estado pero nunca retornar a él.

3. Estado absorbente

S_i es un estado absorbente si el sistema entra al estado y permanece ahí. Y el límite de la probabilidad de estado es 1. este estado es conocido también como estado trampa.

4. Cadena recurrente

Una cadena recurrente es un conjunto de estados de los que el sistema no puede salir. Un estado transitorio conduce al sistema dentro de este conjunto de estados. El sistema hace saltos dentro de este conjunto indefinidamente. La cadena recurrente es también llamada subcadena de Markov irreducible o de clases recurrentes.

Datos claves de la cadena de markov:

o   Cada cadena de Markov debe tener al menos una cadena recurrente

o   Una cadena recurrente es un estado absorbente generalizado

o   Un proceso de Markov que tiene una cadena recurrente será completamente ergódica desde dondequiera que el inicie finalizara en cadena recurrente

o   Si un proceso tiene dos o más cadenas recurrentes, entonces la propiedad ergódica no se mantiene en el tiempo

o   Un estado transitorio es un estado que ocupa el sistema antes de convertirse en una cadena recurrente

Comportamiento a largo plazo de una cadena regular

La notación X(n)=(x₁(n),.....,x_k(n))^t representa la probabilidad de que una cadena se encuentre en cada uno de los estados en la etapa n.

X_c=Lim _nàinfinito X(n)=LX(0) donde L=Lim _nàinfinitoTⁿ.

El vector X_c caracteriza el comportamiento a largo plazo de la cadena, ya que nos informa de la probabilidad de que la cadena se encuentre en cada uno de los estados cuando ha transcurrido un número grande de etapas. Al vector X_c se le llama distribución estacionaria de la cadena. El límite no siempre existe debido a la existencia de periodos.

"Se dice que una cadena de Markov con matriz de probabilidades de transición T (esta matriz es la transpuesta de la original) es regular si todos los elementos de matriz Tⁿ son estrictamente positivos para algún valor de n."

Es decir, una cadena de Markov es regular si existe un número de etapas n tal que la probabilidad de la transición en n etapas entre cualquier par de estados es estrictamente positiva.

Cadenas ergódicas:

Si existe un n>0 tal que P_ijⁿ >0, i, j=0,1,2....m. la cadena de Markov, con esta propiedad, se llama ergódica. Entonces, P_ijⁿ = S_k=0 (P_ikⁿ * P_kj), luego p_j =  S_k=0 (p_k * P_kj) y como S_j=0 P_ijⁿ = 1, entonces S_j=0 p_j =1

Teorema. Para una cadena de Markov ergódica, p_j =Lim _nàinfinito P_ijⁿ existe y p_j (j pertenece {0,..,m}) es la única solución no negativa de p_j. Entonces:

p_j =  S_k=0 (p_k * P_kj) y S_j=0 p_j =1.

Límites ergódicos en la cadena de markov:

La relación fundamental en una cadena de Markov es: Pⁿ =Mⁿ P₀. Y si nuestro interés es el comportamiento asintótico de P_n, es decir Lim _nàinfinito P_n entonces el problema es encontrar las condiciones para que este límite exista y en caso de existir, ¿dependerá del estado inicial del sistema?

Bajo condiciones de “regularidad” la distribución asintótica existe y bajo estas condiciones la distribución en el límite será independiente de la distribución inicial.

Clasificación de los estados:

	Recurrentes: Si i=j y  Sinfn=1 fiin =1	·         Absorbentes si pii =1 ·         Recurrentes nulos uii = inf ·         Recurrentes positivos uii < inf ·         Ergódico: recurrente positivo aperiódico
	Transitorio o transiente: si hay alguna probabilidad positiva de no volver allí,  Sinfn=1 fiin <1
Estados	Efímero: no puede ser alcanzado desde ningún otro estado
	J es  Accesible, si pijn >0
	Comunicados	Si i es accesible desde j Si j es accesible desde i
	Pertenecen a una clase: cadena irreductible
	Periódico: tiene periodo
	Aperiódico: no tiene periodo