Propiedad de Márkov

Una cadena de Márkov se puede caracterizar por la probabilidad de ir al estado n+1 condicionada a que antes estábamos en el estado n:

${\displaystyle P(X_{n+1}|X_{n})\,}$

Que es la probabilidad de transición del proceso. La propiedad de las cadenas de Márkov es que las transiciones entre los estados, solo puede producirse entre estados vecinos. Solo se puede llegar al estado i desde el estado i-1 o bien de i+1.

Este tipo de estadística se suele encontrar en la distribución exponencial, cuya función de densidad de probabilidad se expresa así:

${\displaystyle f_{\tau }(t)=\lambda e^{-\lambda t}\quad t>0}$

Vamos a comprobar que un proceso definido por esta función de densidad de probabilidad no tiene memoria. La probabilidad de que haya una transición entre 0 y un tiempo t cualquiera es:

${\displaystyle P(0<\tau <t)=P(\tau <t)=\int _{0}^{t}\lambda e^{-\lambda \tau }\,d\tau }$

Integrando obtenemos:

${\displaystyle P(\tau \ <t)=e^{-\lambda \cdot 0}-e^{-\lambda t}=1-e^{-\lambda t}}$

Ahora vamos a calcular la probabilidad para el mismo intervalo t, pero con instante de inicio diferente t₀. Calcularemos la probabilidad de tener una transición en el intervalo t, (de t₀ hasta t₀+t) condicionado a que antes de t₀ no ha habido ninguna transición:

${\displaystyle P(t_{0}<\tau <t_{0}+t|\tau >t_{0})={\frac {p(t_{0}<\tau <t_{0}+t)}{p(\tau >t_{0})}}}$

Sustituyendo por las fdp y operando obtenemos:

${\displaystyle P(t_{0}<\tau <t_{0}+t|\tau >t_{0})={\frac {\int _{t_{0}}^{t_{0}+t}\lambda e^{-\lambda \tau }\,d\tau }{\int _{t_{0}}^{\infty }\lambda e^{-\lambda \tau }\,d\tau }}={\frac {e^{-\lambda t_{0}}-e^{-\lambda (t_{0}+t)}}{e^{-\lambda t_{0}}-e^{-\lambda \cdot \infty }}}={\frac {e^{-\lambda t_{0}}(1-e^{-\lambda t})}{e^{-\lambda t_{0}}-0}}=1-e^{-\lambda t}}$

Con lo que queda demostrado que la probabilidad de tener una transición en un estado, no depende del tiempo anterior.