Agregación de bootstrap

Dado un conjunto de entrenamiento estándar D de tamaño n, el embolsado genera m nuevos conjuntos de entrenamiento ${\displaystyle D_{i}}$, cada uno de tamaño n′, mediante muestreo uniforme y con reemplazo de D. En el caso del muestreo con reemplazo, algunas observaciones deben repetirse en ${\displaystyle D_{i}}$. Si n′=n, entonces para un n grande el conjunto ${\displaystyle D_{i}}$ se espera que tenga (1 - 1/e) (≈63.2%) ejemplos únicos de D, siendo el resto duplicados.[1] Este tipo de muestra es conocido como muestra de arranque. Los m modelos son aproximados usando las m muestras de arranque y combinados promediando el resultado (para regresión) o votando (para clasificación).

El embolsado lleva a "mejoras para procedimientos inestables" (Breiman, 1996), que incluyen, por ejemplo, redes neuronales artificiales, árboles de clasificación y regresión, y selección de subconjuntos en regresión lineal (Breiman, 1994). Una aplicación interesante del embolsado mostrando mejorías en el aprendizaje preimagen puede ser visto aquí.[2][3] Por otra parte, esto puede degradar levemente el rendimiento de métodos estables tales como K-nearest neighbors (Breiman, 1996).

Para ilustrar los principios básicos del embolsado, se muestra a continuación un análisis de la relación entre el ozono y la temperatura (datos de Peter Rousseeuw y Leroy (1986), disponibles en conjuntos de datos clásicos, el análisis está hecho en R).

La relación entre la temperatura y el ozono en este conjunto de datos es aparentemente no lineal, basado en el gráfico de dispersión. Para describir matemáticamente esta relación, se usan suavizadores LOESS. En vez de construir un único suavizador a partir del conjunto de datos completo, 100 muestras de arranque de los datos fueron graficadas. Cada muestra es diferente del conjunto de datos original, y aun así se asemeja en distribución y variabilidad. Por cada muestra de arranque, un suavizador LOESS fue ajustado. A través del rango de los datos, se hicieron predicciones a partir de estos 100 suavizadores. Los primeros 10 ajustes suaves aparecen en líneas grises en la figura. Las líneas claramente sobreajustan los datos.

Pero tomando un promedio de 100 suavizadores, cada uno ajustado a un subconjunto del conjunto original, llegamos a un pronosticador embolsado (línea roja). Claramente, la media es más estable y hay menos sobreajuste.

Es bien sabido que el riesgo de un clasificador 1 nearest neighbor (1NN) es a lo sumo el doble del riesgo del clasificador Bayes, pero no hay garantías de que este clasificador será consistente. Escogiendo cuidadosamente el tamaño de las nuevas muestras, el embolsado puede llevar a mejoras substanciales en el rendimiento del clasificador 1NN. Tomando una gran número de muestras de los datos de tamaño ${\displaystyle n'}$, el clasificador embolsado nearest neighbors será consistente dado que ${\displaystyle n'\to \infty }$ diverge pero ${\displaystyle n'/n\to 0}$ cuando el tamaño de la muestra ${\displaystyle n\to \infty }$.

Bajo simulación infinita, el clasificador nearest neighbors embolsado se puede ver como un clasificador nearest neighbors con pesos. Suponga que el espacio de estudio es ${\displaystyle d}$ dimensional y sea ${\displaystyle C_{n,n'}^{bnn}}$ el clasificador nearest neighbors embolsado basado en un conjunto de entrenamiento de tamaño ${\displaystyle n}$, con muestras de tamaño ${\displaystyle n'}$. En el caso del muestreo infinito, bajo ciertas condiciones de regularidad en las distribuciones de clases, el riesgo excedente tiene la extensión asintótica siguiente[4]

${\displaystyle {\mathcal {R}}_{\mathcal {R}}(C_{n,n'}^{bnn})-{\mathcal {R}}_{\mathcal {R}}(C^{Bayes})=\left(B_{1}{\frac {n'}{n}}+B_{2}{\frac {1}{(n')^{4/d}}}\right)\{1+o(1)\},}$ para algunas constantes ${\displaystyle B_{1}}$ y ${\displaystyle B_{2}}$. La selección óptima de ${\displaystyle n'}$, que equilibra los dos términos en la extensión asintótica, está dada por ${\displaystyle n'=Bn^{d/(d+4)}}$ para alguna

constante ${\displaystyle B}$.

El embolsado fue propuesto por Leo Breiman en 1994 para mejorar la clasificación combinando clasificaciones de conjuntos de entrenamientos generados aleatoriamente. Ver Breiman, 1994. Reporte Técnico No. 421.

• Bootstrapping_(estadística)
• Validación_cruzada

• Breiman, Leo (1996). Bagging predictors 24 (2). Machine Learning. pp. 123-140. doi:10.1007/BF00058655.

• Alfaro, E., Gámez, M. and García, N. (2012). adabag: An R package for classification with AdaBoost.M1, AdaBoost- SAMME and Bagging.