Red de creencia profunda

En el campo de aprendizaje de máquina o Inteligencia Artificial, una red de creencia profunda (en inglés Deep Belief Network, DBN) es un modelo gráfico generativo, o alternativamente un tipo de red neuronal profunda, compuesta por múltiples capas de variables latentes ("unidades ocultas"), con conexiones entre las capas pero no entre unidades dentro de cada capa.[1]

Visión general esquemática de una red de creencia profunda. Las flechas representan el sentido de las conexiones en el modelo gráfico que la red representa.

Cuando se está entrenando un algoritmo DBN con un conjunto de ejemplos como entrada de forma no supervisada, una DBN puede aprender a reconstruir probabilísticamente estas entradas. Así, las capas actúan como detectores de características en dicha entrada.[1] Después de este paso de aprendizaje, una DBN puede ser entrenada de nuevo de forma supervisada para mejorar la etapa de clasificación.[2]

Una DBN puede ser vista como una composición de redes simples y no supervisadas tales como las máquinas de Boltzmann restringidas (RBM) donde cada capa oculta de una subred sirve como la capa visible para la siguiente.[1][3] Esto también permite que la etapa de entrenamiento no supervisado sea realmente eficiente.

Yee-Whye Teh, estudiante de Geoffrey Hinton, observó que una DBN puede ser entrenada con una estrategia voraz, capa a capa. Esto ha sido reconocido también como un logro en aprendizaje profundo.[2][4]: 6 

Algoritmo de entrenamiento

El algoritmo entrenamiento de una DBN procede de la siguiente manera:[2]

Sea X la matriz de entradas, considerada como un conjunto de vectores de características.
  1. Entrenar una RBM con X para obtener su matriz de pesos, W. Esta se usará como la matriz de pesos entre las dos capas inferiores de la red.
  2. Transformar X mediante la RBM para producir una nueva X'.
  3. Repetir este procedimiento con X ← X' para la próxima pareja de capas, hasta las dos capas superiores.
  4. Realizar el ajuste fino de los parámetros de esta arquitectura profunda respecto a un criterio de log-verosimilitud o a uno de entrenamiento supervisado (tras añadir maquinaria adicional de aprendizaje para convertir la representación aprendida en predicciones supervisadas).

Véase también

Referencias
  1. Hinton, G. (2009). «Deep belief networks». Scholarpedia 4 (5): 5947. doi:10.4249/scholarpedia.5947.
  2. Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006).
  3. Yoshua Bengio; Pascal Lamblin; Dan Popovici; Hugh Larochelle (2007). Greedy Layer-Wise Training of Deep Networks. NIPS.
  4. Bengio, Y. (2009). «Learning Deep Architectures for AI». Foundations and Trends in Machine Learning 2. doi:10.1561/2200000006.

Enlaces externos
Este artículo ha sido escrito por Wikipedia. El texto está disponible bajo la licencia Creative Commons - Atribución - CompartirIgual. Pueden aplicarse cláusulas adicionales a los archivos multimedia.