Mínimos cuadrados generalizados

En un modelo típico de regresión lineal observamos los datos ${\displaystyle \{y_{i},x_{ij}\}_{i=1..n,j=1..p}}$ en n unidades estadísticas n. Los valores de respuesta se colocan en un vector Y = (y₁, ..., y_n)′, y los valores de los predictores se colocan en el diseño de la matriz X = [[x_ij]], donde x_ij es el valor de la j-ésima variable predictora de la unidad número i. El modelo asume que la media condicional de Y dado X es una función lineal de X, mientras que la varianza condicional del término de error dado X es una matriz conocida Ω. Esto se escribe como:

${\displaystyle Y=X\beta +\varepsilon ,\qquad \mathrm {E} [\varepsilon |X]=0,\ \operatorname {Var} [\varepsilon |X]=\Omega .}$

Aquí β es un vector de coeficientes de regresión "desconocidos" que deben ser estimados a partir de los datos.

Supongamos que b es un candidato para la estimación β. A continuación, el residual de vector para b será Y - Xb. El método de mínimos cuadrados generalizados estima β, reduciendo al mínimo el cuadrado de Mahalanobis longitud de este vector residual:

${\displaystyle {\hat {\beta }}={\underset {b}{\rm {arg\,min}}}\,(Y-Xb)'\,\Omega ^{-1}(Y-Xb),}$

Dado que el objetivo es una forma cuadrática en b, el estimador tiene una fórmula explícita:

${\displaystyle {\hat {\beta }}=(X'\Omega ^{-1}X)^{-1}X'\Omega ^{-1}Y.}$

El estimador GLS es insesgado, consistente, eficiente y asintóticamente normal:

${\displaystyle {\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}\!\left(0,\,(X'\,\Omega ^{-1}X)^{-1}\right).}$

GLS es equivalente a la aplicación de mínimos cuadrados ordinarios a una versión linealmente transformada de los datos. Para ver esto, el factor Ω = BB′, por ejemplo utilizando el factor de descomposición de Cholesky. Entonces, si multiplicamos ambos lados de la ecuación Y = Xβ + ε por B⁻¹, obtenemos un modelo lineal equivalente Y* = X*β + ε*, donde Y* = B⁻¹Y, X* = B⁻¹X, y ε* = B⁻¹ε.

Un caso especial de GLS, llamado mínimos cuadrados ponderados (WLS), se produce cuando todas las entradas fuera de la diagonal de Ω son 0. Esta situación se presenta cuando las varianzas de los valores observados son diferentes (es decir, la heterocedasticidad está presente), pero donde no existen correlaciones entre las variaciones observadas. El peso de la unidad i es proporcional al recíproco de la varianza de la respuesta de la unidad i.

Factibles mínimos cuadrados generalizados (MCGF) es similar a la de mínimos cuadrados generalizados, excepto que utiliza una matriz de varianza-covarianza estimada donde la matriz verdadera no se conoce directamente.

Los mínimos cuadrados ordinarios (OLS) estimador se calculan como siempre por:

${\displaystyle {\widehat {\beta }}_{OLS}=(X'X)^{-1}X'y}$

y se construye el estimador de los residuales ${\displaystyle {\widehat {u}}_{j}=(Y-Xb)_{j}}$.

Construcción ${\displaystyle {\widehat {\Omega }}_{OLS}}$:

${\displaystyle {\widehat {\Omega }}_{OLS}=\operatorname {diag} ({\widehat {u}}_{1}^{2},{\widehat {u}}_{2}^{2},\dots ,{\widehat {u}}_{n}^{2}).}$

Estimar ${\displaystyle \beta _{FGLS1}}$ usando ${\displaystyle {\widehat {\Omega }}_{OLS}}$ al usar mínimos cuadrados ponderador

${\displaystyle {\widehat {\beta }}_{FGLS1}=(X'{\widehat {\Omega }}_{OLS}^{-1}X)^{-1}X'{\widehat {\Omega }}_{OLS}^{-1}y}$

${\displaystyle {\widehat {u}}_{FGLS1}=Y-X{\widehat {\beta }}_{FGLS1}}$

${\displaystyle {\widehat {\Omega }}_{FGLS1}=\operatorname {diag} ({\widehat {u}}_{FGLS1,1}^{2},{\widehat {u}}_{FGLS1,2}^{2},\dots ,{\widehat {u}}_{FGLS1,n}^{2})}$

${\displaystyle {\widehat {\beta }}_{FGLS2}=(X'{\widehat {\Omega }}_{FGLS1}^{-1}X)^{-1}X'{\widehat {\Omega }}_{FGLS1}^{-1}y}$

Esta estimación de ${\displaystyle {\widehat {\Omega }}}$ puede ser iterada para converger a los supuestos marcados por White.

Los estimadores WLS y MCGF tienen las siguientes distribuciones asintóticas:

${\displaystyle {\widehat {\beta }}_{WLS}{\overset {d}{\to }}N(\beta ,(X'\Omega ^{-1}X)^{-1})}$

${\displaystyle {\widehat {\beta }}_{FGLS}{\overset {d}{\to }}N(\beta ,(X'{\widehat {\Omega }}_{OLS}^{-1}X)^{-1}(X'{\widehat {\Omega }}_{OLS}^{-1}\Omega {\widehat {\Omega }}_{OLS}^{-1}X)(X'{\widehat {\Omega }}_{OLS}^{-1}X)^{-1})}$