Hiperparámetro
Este artículo trata sobre los hiperparámetros en estadística bayesiana. No debe confundirse con Hiperparámetro (aprendizaje automático).
En estadística bayesiana, un hiperparámetro es un parámetro de una distribución a priori; el término se utiliza para distinguirlos de los parámetros del modelo del sistema subyacente analizado.
Por ejemplo, si se utiliza una distribución beta para modelizar la distribución del parámetro p de una distribución Bernoulli, entonces:
- p es un parámetro del sistema subyacente (distribución Bernoulli), y
- α y β son parámetros de la distribución a priori (distribución beta), por lo tanto hiperparámetros.
Se puede tomar un único valor para un hiperparámetro dado, o se puede iterar y tomar una distribución de probabilidad sobre el propio hiperparámetro, llamada hiperprior.
Propósito
A menudo se utiliza una prioridad que procede de una familia paramétrica de distribuciones de probabilidad, en parte por explicitud (para poder escribir una distribución y elegir la forma variando el hiperparámetro, en lugar de intentar producir una función arbitraria) y en parte para poder variar el hiperparámetro, en particular en el método de las priores conjugadas, o para el análisis de sensibilidad.
Priores conjugadas
Artículo principal: Prior conjugada
Cuando se utiliza una prior conjugada, la distribución posterior será de la misma familia, pero tendrá diferentes hiperparámetros, que reflejan la información añadida de los datos: en términos subjetivos, las creencias de uno se han actualizado. Para una distribución a priori general, esto es muy complicado desde el punto de vista computacional, y la distribución a posteriori puede tener una forma inusual o difícil de describir, pero con una distribución a priori conjugada, suele haber una fórmula sencilla que relaciona los valores de los hiperparámetros de la distribución a posteriori con los de la distribución a priori, por lo que el cálculo de la distribución a posteriori es muy sencillo.
Análisis de sensibilidad
Artículo principal: Análisis de sensibilidad (estadística)
Una de las principales preocupaciones de los usuarios de la estadística bayesiana, así como de sus detractores, es la dependencia de la distribución posterior con respecto a las variables a priori. Los hiperparámetros solucionan este problema al permitir variar fácilmente los parámetros y ver cómo varía la distribución posterior (y varios estadísticos de la misma, como los intervalos creíbles): se puede ver lo sensibles que son las conclusiones a las suposiciones previas, y el proceso se denomina análisis de sensibilidad.
Del mismo modo, se puede utilizar una distribución a priori con un rango para un hiperparámetro, tal vez reflejando la incertidumbre en la correcta a priori a tomar, y reflejar esto en un rango para la incertidumbre final.[1]
Hiperpriores
Artículo principal: Hiperprior
En lugar de utilizar un único valor para un hiperparámetro determinado, se puede considerar una distribución de probabilidad del propio hiperparámetro; esto se denomina "hiperprior". En principio, se puede iterar esto, llamando a los parámetros de un hiperprior "hiperhiperparámetros", y así sucesivamente.
Véase también
- Método de Bayes empírico
- Optimización de hiperparámetros
- Vergonzosamente paralelo
- Dilución de regresión
- Debabrata Basu
Referencias
- «Purely subjective assessment of prior probabilities». www.roma1.infn.it. Consultado el 11 de septiembre de 2023.
Lectura adicional
- Bernardo, J. M.; Smith, A. F. M. (2000). Bayesian Theory. New York: Wiley
- Gelman, A.; Hill, J. (2007). Data Analysis Using Regression and Multilevel/Hierarchical Models. New York: Cambridge University Press. pp. 251–278
- Kruschke, J. K. (2010). Doing Bayesian Data Analysis: A Tutorial with R and BUGS. Academic Press. pp. 241–264