LASSO (estadística)

Robert Tibshirani introdujo lasso para mejorar la exactitud de la predicciones e interpretabilidad de los modelo estadísticos de regresión al alterar el proceso de construcción del modelo al seleccionar solamente un subconjunto de (y no todas) las variables provistas para usar en el modelo final.[1] Está basado en el Garrote no negativo de Breiman, que tiene propósitos similares, pero funciona de manera un poco diferente.[2]

Antes de lasso, el método más usado para decidir qué variables incluir en un modelo era stepwise selection, que sólo mejora la exactitud de las predicciones en ciertos casos, como cuando sólo unas pocas variables tienen una relación fuerte con la variable independiente. Sin embargo, en otros casos, puede agravar los errores de predicción. Además, en ese momento, ridge regression era la técnica más popular para mejorar la exactitud de las predicciones. Ridge regression mejora los errores de predicción al reducir en tamaño los coeficientes de regresión que sean demasiado grandes para reducir el sobreajuste (overfitting), pero no realiza selección de variables y por tanto no produce un modelo más interpretable.

Considere una clúster de N casos (observaciones), cada una con p variable y una sola variable independente. Sea ${\displaystyle y_{i}}$ la variable independiente y ${\displaystyle x_{i}:=(x_{1},x_{2},\ldots ,x_{p})^{T}}$ el vector con variables para el caso ${\displaystyle j}$. Entonces, el objetivo del Lasso es resolver

${\displaystyle \min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\sum _{i=1}^{N}(y_{i}-\beta _{0}-x_{i}^{T}\beta )^{2}\right\}{\text{ sujeto a }}\sum _{j=1}^{p}|\beta _{j}|\leq t.}$[1]

Aquí ${\displaystyle \beta _{0}}$ es el coeficiente constante, ${\displaystyle \beta$ :=(\beta _{1},\beta _{2},...,\beta _{p})} es el vector de coeficientes y ${\displaystyle t}$ es un parámetro pre especificado que determine la cantidad de regularization. Sea ${\displaystyle X}$ la matriz de variables, de manera que ${\displaystyle X_{ij}=(x_{i})_{j}}$ y ${\displaystyle x_{i}^{T}}$ es la 'i-esima fila de ${\displaystyle X}$, podemos escribir de forma más compacta el problema como:

${\displaystyle \min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}{\text{ sujeto a }}\|\beta \|_{1}\leq t.}$

donde ${\displaystyle \|Z\|_{p}=\left(\sum _{i=1}^{N}|Z_{i}|^{p}\right)^{1/p}}$ es la p-norma en dimensiones finitas (${\displaystyle \ell ^{p}}$ Espacios Lp).

Denotando la media escalar de los puntos ${\displaystyle x_{i}}$ como ${\displaystyle {\bar {x}}}$ y la media de las variables de salida ${\displaystyle y_{i}}$ como ${\displaystyle {\bar {y}}}$, el estimado para ${\displaystyle \beta _{0}}$ es ${\displaystyle {\hat {\beta }}_{0}={\bar {y}}-{\bar {x}}^{T}\beta }$, de modo que:

${\displaystyle y_{i}-{\hat {\beta }}_{0}-x_{i}^{T}\beta =y_{i}-({\bar {y}}-{\bar {x}}^{T}\beta )-x_{i}^{T}\beta =(y_{i}-{\bar {y}})-(x_{i}-{\bar {x}})^{T}\beta ,}$

y así es estándar trabajar con variables centralizadas. Adicionalmente las variables son estandarizadas ${\displaystyle \textstyle \left(\sum _{i=1}^{N}x_{ij}^{2}=1\right)}$ para que la solución no sea afectada por la escala de las mediciones.

Puede ser útil rescribir el problema

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}\right\}{\text{ sujeto a }}\|\beta \|_{1}\leq t.}$

en su forma Lagrangiana.

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}}$

donde la relación exacta entre ${\displaystyle t}$ y ${\displaystyle \lambda }$ depende de los datos.