Algoritmo de Baum-Welch

Antes de describir el proceso de estimación, necesitamos conocer:

• el número esperado de transiciones desde el estado ${\displaystyle i}$ en ${\displaystyle O}$ y
• el número esperado de transiciones desde el estado ${\displaystyle i}$ al estado ${\displaystyle j}$ en ${\displaystyle O}$

Para ello definimos previamente ${\displaystyle \xi _{t}{(i,j)}}$ como la probabilidad de estar en el estado ${\displaystyle i}$ en el instante ${\displaystyle t}$ y en el estado ${\displaystyle j}$ en el instante ${\displaystyle t+1}$, dado una observación ${\displaystyle O}$ y el modelo ${\displaystyle \mu }$.

${\displaystyle \xi _{t}{(i,j)}=P(q_{t}=i,q_{t+1}=j|O,\mu )}$

${\displaystyle \xi _{t}{(i,j)}={\frac {P(q_{t}=i,q_{t+1}=j,O|\mu )}{P(O|\mu )}}={\frac {\alpha _{t}{(i)}a_{ij}b_{j}(o_{t+1})\beta _{t+1}(j)}{P(O|\mu )}}}$

${\displaystyle \xi _{t}{(i,j)}={\frac {\alpha _{t}{(i)}a_{ij}b_{j}(o_{t+1})\beta _{t+1}(j)}{\displaystyle \sum _{k=1}^{N}\displaystyle \sum _{l=1}^{N}{\alpha _{t}(k)a_{kl}b_{l}(o_{t+1})\beta _{t+1}(l)}}}}$

donde los valores ${\displaystyle \alpha _{t}(i)}$ y ${\displaystyle \beta _{t}(i)}$ se pueden calcular eficientemente con el algoritmo de avance-retroceso.

${\displaystyle \alpha _{t}(i)=P(o_{1},o_{2},\ldots ,o_{t},q_{t}=i|\mu )}$

${\displaystyle \beta _{t}(i)=P(o_{t+1},o_{t+2},\ldots ,o_{T}|q_{t}=i,\mu )}$

La figura muestra un esquema parcial de los elementos necesarios para el cálculo de ${\displaystyle \xi (i,j)}$.

Definimos también ${\displaystyle \gamma _{t}(i)}$ como la probabilidad de estar en el estado ${\displaystyle i}$ en el instante ${\displaystyle t}$,

${\displaystyle \gamma _{t}(i)=\displaystyle \sum _{j=1}^{N}{\xi _{t}(i,j)}}$

Sumando cada ${\displaystyle \gamma _{t}(i)}$ en cada instante de tiempo, obtenemos:

• el número esperado de transiciones desde el estado ${\displaystyle i}$ en la observación ${\displaystyle O}$

${\displaystyle \displaystyle \sum _{t=1}^{T-1}{\gamma _{t}(i)}}$

y haciendo lo mismo con cada ${\displaystyle \xi _{t}(i,j)}$, obtenemos:

• el número esperado de transiciones desde el estado ${\displaystyle i}$ al estado ${\displaystyle j}$ en la observación ${\displaystyle O}$

${\displaystyle \displaystyle \sum _{t=1}^{T-1}{\xi _{t}(i,j)}}$

El funcionamiento del procedimiento iterativo es básicamente el siguiente:

1. Se parte de un modelo inicial que se puede seleccionar aleatoriamente.
2. Se realiza el cálculo de las transiciones y símbolos de emisión que son más probables según el modelo inicial escogido.
3. Se construye un nuevo modelo en el que se incrementa la probabilidad de las transiciones y símbolos determinados en el paso anterior. Para la secuencia de observables en cuestión, el modelo tendrá ahora una probabilidad mayor que el modelo anterior.

Este proceso de entrenamiento se repite varias veces hasta que no exista mejora entre un modelo y el siguiente revisado.

Probabilidad de estar en el estado ${\displaystyle i}$ en el instante de tiempo ${\displaystyle t=1}$:

${\displaystyle {\bar {\pi }}_{i}=\gamma _{1}(i)}$

${\displaystyle 1\leq i\leq N}$

Reestimación de las probabilidades de transición. El numerador representa el número esperado de transiciones de ${\displaystyle i}$ a ${\displaystyle j}$, y el denominador representa el número esperado de transiciones desde ${\displaystyle i}$:

${\displaystyle {\bar {a}}_{ij}={\frac {\displaystyle \sum _{t=1}^{T-1}{\xi _{t}(i,j)}}{\displaystyle \sum _{t=1}^{T-1}{\gamma _{t}(i)}}}}$

${\displaystyle 1\leq i\leq N}$, ${\displaystyle 1\leq j\leq N}$

Reestimación de las probabilidades de emisión. El numerador representa el número esperado de veces que se pasa por el estado ${\displaystyle j}$ y se observa ${\displaystyle o_{k}}$, y el denominador representa el número esperado de veces que se pasa por el estado ${\displaystyle j}$:

${\displaystyle {\bar {b}}_{j}(o_{k})={\frac {\displaystyle \sum _{t=1:o_{t}=o_{k}}^{T}{\gamma _{t}(j)}}{\displaystyle \sum _{t=1}^{T}{\gamma _{t}(j)}}}}$

${\displaystyle 1\leq j\leq N}$, ${\displaystyle 1\leq k\leq N}$