Estimador insesgado de varianza mínima

Considere la estimación ${\displaystyle g(\theta )}$ basada en los datos ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ IID de algún miembro de la familia de las densidades ${\displaystyle p_{\theta },\theta \in \Omega }$, en donde ${\displaystyle \Omega }$ es el espacio de parámetros. Un estimador ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ de ${\displaystyle g(\theta )}$ es insesgado de varianza mínima si ${\displaystyle \forall \theta \in \Omega }$,

${\displaystyle \mathrm {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \mathrm {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$

para cualquier otro estimador insesgado ${\displaystyle {\tilde {\delta }}.}$

Si un estimador insesgado de ${\displaystyle g(\theta )}$ existe, entonces se puede probar que hay una Estimador insesgado de varianza mínima esencialmente único. Usando el Teorema de Rao-Blackwell también se puede probar que la determinación de la Estimador insesgado de varianza mínima es simplemente una cuestión de encontrar un estadístico completo y suficiente para la familia ${\displaystyle p_{\theta },\theta \in \Omega }$ y acondicionamiento cualquier estimador imparcial sobre el mismo.

Además, por el teorema de Lehmann-Scheffé, un estimador insesgado es una función de una completa, estadístico suficiente es el estimador UMVUE.

Ponga formalmente, supongamos ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ es imparcial para ${\displaystyle g(\theta )}$, y que ${\displaystyle T}$ es una estadística suficiente completa para la familia de densidades. Entonces

${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\mathrm {E} (\delta (X_{1},X_{2},\ldots ,X_{n})|T)\,}$

es el MVUE para ${\displaystyle g(\theta ).}$

Un caso análogo bayesiano es un estimador de Bayes, en particular con error cuadrático medio mínimo (MMSE).

Un estimador eficiente no tiene por qué existir, pero si lo hace y si es imparcial, es la MVUE. Puesto que el error cuadrático medio (MSE) de un estimador es δ

${\displaystyle \operatorname {MSE} (\delta )=\mathrm {var} (\delta )+[\mathrm {bias} (\delta )]^{2}\ }$

la MVUE minimiza MSE entre los estimadores no sesgados. En algunos casos estimadores sesgados tener menor MSE porque tienen una varianza más pequeña que lo hace cualquier estimador insesgado; ver sesgo estimador.

Considere la posibilidad de que los datos son una sola observación de una distribución absolutamente continua en ${\displaystyle \mathbb {R} }$ con la densidad:

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}$

y deseamos encontrar el estimador de UMVU

${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$

En primer lugar, reconocemos que la densidad se puede escribir como

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}$

Qué es una familia exponencial con suficiente estadística ${\displaystyle T=\mathrm {log} (1+e^{-x})}$. De hecho, esta es una familia exponencial de rango completo, y por lo tanto T es completa suficiente. Ver familia exponencial para una derivación que muestra

${\displaystyle \mathrm {E} (T)=-{\frac {1}{\theta }},\quad \mathrm {var} (T)={\frac {1}{\theta ^{2}}}}$

Por lo tanto

${\displaystyle \mathrm {E} (T^{2})={\frac {2}{\theta ^{2}}}}$

Claramente ${\displaystyle \delta (X)={\frac {T^{2}}{2}}}$ es insesgado, por lo que el estimador es UMVU

${\displaystyle \eta (X)=\mathrm {E} (\delta (X)|T)=\mathrm {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}$

Este ejemplo ilustra que una función imparcial de la estadística suficiente completa será UMVU.

• Para una distribución normal de media y varianza desconocidas, la media de la muestra y (imparcial) varianza de la muestra son los MVUEs para la media poblacional y la varianza de la población.

Sin embargo, la desviación estándar de la muestra no es imparcial para la desviación estándar de la población - ver estimación no sesgada de la desviación estándar. Además, para otras distribuciones de la media muestral y la varianza de la muestra no se encuentran en MVUEs generales - para una distribución uniforme con límites superior e inferior desconocidas, el rango medio es la MVUE para la media poblacional.

• Si k ejemplares se eligen (sin reemplazo) de una distribución uniforme discreta sobre el conjunto {1, 2, ..., N} con desconocido límite superior N, el MVUE para N es

${\displaystyle {\frac {k+1}{k}}m-1,}$

donde m es el máximo de la muestra. Este es un escalados y desplazados (de manera imparcial) transformar del máximo de la muestra, que es una estadística suficiente y completa. Vea problema tanque alemán para más detalles.

• Keener, Robert W. (2006). Statistical Theory: Notes for a Course in Theoretical Statistics. Springer. pp. 47-48, 57-58.
• Voinov V. G.,, Nikulin M.S. (1993). Unbiased estimators and their applications, Vol.1: Univariate case. Kluwer Academic Publishers. pp. 521p.