Familia exponencial

La familia exponencial de parámetro escalar es un conjunto de funciones de distribución cuya función de densidad puede expresarse de la forma

${\displaystyle f_{X}(x;\theta )=h(x)\exp(\eta (\theta )T(x)-A(\theta ))\,\!}$

donde ${\displaystyle T(x)}$, ${\displaystyle h(x)}$, ${\displaystyle \eta (\theta )}$ y ${\displaystyle A(\theta )}$ son funciones conocidas.

A θ se lo denomina parámetro de la familia.

A menudo, x es un vector de observaciones. En tal caso, T(x) es una función real sobre el espacio de posibles valores de x.

Si η(θ) = θ se dice que la familia exponencial está expresada en su forma canónica. Redefiniendo η = η(θ), es posible expresar una familia exponencial en su forma canónica. De todos modos, la forma canónica no es única dado que η(θ) puede aparecer multiplicado por una constante no nula y T(x), a su vez, multiplicada por su inversa.

La definición anterior puede extenderse al caso de un parámetro vectorial ${\displaystyle {\boldsymbol {\theta }}=(\theta _{1},\theta _{2},\ldots ,\theta _{d})^{T}}$. En tal caso, se dice que una familia de distribuciones pertenece a la familia exponencial cuando su función de densidad puede expresarse de la forma

${\displaystyle f_{X}(x;\theta )=h(x)\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)\,\!}$

Como en el caso escalar, se dice que está en forma canónica cuando ${\displaystyle \eta _{i}({\boldsymbol {\theta }})=\theta _{i}}$ para todo ${\displaystyle i}$.

Se dice que la familia exponencial está curvada cuando la dimensión de ${\displaystyle {\boldsymbol {\theta }}=(\theta _{1},\theta _{2},\ldots ,\theta _{d})^{T}}$ es menor que la del vector ${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})=(\eta _{1}({\boldsymbol {\theta }}),\eta _{2}({\boldsymbol {\theta }}),\ldots ,\eta _{s}({\boldsymbol {\theta }}))^{T}}$, es decir, cuando la dimensión del vector de parámetros es menor que el número de funciones del vector de parámetros en la representación anterior.

Supóngase que H es una función real de variable real no decreciente y que H(x) tiende a cero cuando x tiende a −∞. Entonces, la integral de Lebesgue–Stieltjes con respecto a dH(x) son integrales con respecto a la medida de referencia de la familia exponencial generada por H.

Un miembro de tal familia exponencial tiene función de distribución

${\displaystyle dF(x|\eta )=e^{-\eta ^{\top }T(x)-A(\eta )}\,dH(x).}$

Si F es una función de distribución continua que tiene densidad, se puede escribir dF(x) = f(x) dx.

H(x) es entonces el integrador de Lebesgue–Stieltjes para la medida de referencia. Cuando la medida de referencia es finita puede ser normalizada y H es una función de distribución. Si F es continua y tiene una densidad, lo mismo sucede con H; entonces se puede escribir dH(x) = h(x) dx. Si F es discreta, entonces H es una función escalonada (con escalones en el soporte de F).

En tal caso, la función de densidad es

${\displaystyle f(x;\mu )={\frac {1}{\sqrt {2\pi }}}e^{-(x-\mu )^{2}/2}.}$

Pertenece a la familia exponencial como puede apreciarse identificando

${\displaystyle h(x)=e^{-x^{2}/2}/{\sqrt {2\pi }}}$

${\displaystyle T(x)=x\!\,}$

${\displaystyle A(\mu )=\mu ^{2}/2\!\,}$

${\displaystyle \eta (\mu )=\mu .\!\,}$

En tal caso, la función de densidad es

${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(x-\mu )^{2}/(2\sigma ^{2})}}$

y pueden definirse

${\displaystyle {\boldsymbol {\theta }}=\left({\mu \over \sigma ^{2}},{1 \over \sigma ^{2}}\right)^{T}}$

${\displaystyle h(x)={1 \over {\sqrt {2\pi }}}}$

${\displaystyle T(x)=\left(x,-{x^{2} \over 2}\right)^{T}}$

${\displaystyle A({\boldsymbol {\theta }})={\theta _{1}^{2} \over 2\theta _{2}}-\ln(\theta _{2}^{1/2})={\mu ^{2} \over 2\sigma ^{2}}-\ln \left({1 \over \sigma }\right)}$

Como ejemplo de una familia exponencial discreta puede considerarse la binomial. Su función de probabilidad es

${\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\},}$

que puede escribirse también como

${\displaystyle f(x)={n \choose x}\exp \left(x\log \left({p \over 1-p}\right)+n\log \left(1-p\right)\right).}$

De ahí que esté dentro de la familia exponencial con parámetro natural

${\displaystyle \eta =\log {p \over 1-p}.}$

De acuerdo con el teorema de Pitman-Koopman-Darmois, dentro de las familias cuyo dominio no varía con el parámetro que se quiere estimar, sólo existe un estadístico suficiente cuya dimensión permanece constante al aumentar el tamaño muestral dentro de las familias exponenciales.

Cuando la función de verosimilitud pertenece a la familia exponencial, siempre existe una distribución de probabilidad a priori conjugada que, además, a menudo, pertenece también a la familia exponencial. Una distribución a priori conjugada π para el parámetro η de la familia exponencial es

${\displaystyle \pi (\eta )\propto \exp(-\eta ^{\top }\alpha -\beta \,A(\eta )),}$

donde ${\displaystyle \alpha \in \mathbb {R} ^{n}}$ y ${\displaystyle \beta >0}$ son hiperparámetros.

La familia exponencial uniparamétrica es una función monótonamente creciente de su estadístico suficiente T(x) siempre que η(θ) no sea decreciente. Como consecuencia, existe un test uniformemente más potente para verificar la hipótesis H₀: θ ≥ θ₀ contra H₁: θ < θ₀.

Aunque el estimador de máxima verosimilitud de una familia de distribuciones no tiene por qué existir o ser único, la situación es distinta dentro de la familia exponencial. De hecho, el logaritmo de la función de verosimilitud es necesariamente cóncavo.