Análisis de sensibilidad (estadística)

La elección del método de análisis de sensibilidad suele venir dictada por una serie de restricciones o ajustes del problema. Algunas de las más comunes son:

• Gasto computacional: El análisis de sensibilidad casi siempre se realiza ejecutando el modelo un número (posiblemente elevado) de veces, es decir, un enfoque basado en el muestreo.[8] Esto puede suponer un problema importante cuando,
  • Una sola ejecución del modelo lleva una cantidad de tiempo considerable (minutos, horas o más). Esto no es inusual con modelos muy complejos.
  • El modelo tiene un gran número de entradas inciertas. El análisis de sensibilidad es esencialmente la exploración del espacio multidimensional de entrada, que crece exponencialmente en tamaño con el número de entradas. Véase la maldición de la dimensionalidad.

El gasto computacional es un problema en muchos análisis de sensibilidad prácticos. Algunos métodos para reducir el gasto computacional incluyen el uso de emuladores (para modelos grandes) y métodos de cribado (para reducir la dimensionalidad del problema). Otro método consiste en utilizar un método de análisis de sensibilidad basado en eventos para la selección de variables en aplicaciones con restricciones temporales[9]. Se trata de un método de selección de variables de entrada (IVS) que reúne información sobre la traza de los cambios en las entradas y salidas del sistema utilizando el análisis de sensibilidad para producir una matriz de eventos/desencadenantes de entrada/salida que está diseñada para mapear las relaciones entre los datos de entrada como causas que desencadenan eventos y los datos de salida que describen los eventos reales. La relación causa-efecto entre las causas del cambio de estado, es decir, las variables de entrada, y los parámetros de salida del sistema de efectos determina qué conjunto de entradas tiene un verdadero impacto en una salida determinada. El método tiene una clara ventaja sobre el método IVS analítico y computacional, ya que trata de comprender e interpretar el cambio de estado del sistema en el menor tiempo posible con una sobrecarga computacional mínima.[9][10]

• Entradas correlacionadas: La mayoría de los métodos habituales de análisis de sensibilidad presuponen la independencia entre las entradas del modelo, pero a veces las entradas pueden estar fuertemente correlacionadas. Se trata de un campo de investigación aún inmaduro y todavía no se han establecido métodos definitivos.
• No linealidad: Algunos enfoques de análisis de sensibilidad, como los basados en la regresión lineal, pueden medir de forma inexacta la sensibilidad cuando la respuesta del modelo no es lineal con respecto a sus entradas. En tales casos, las medidas basadas en la varianza son más apropiadas.
• Múltiples salidas: Prácticamente todos los métodos de análisis de sensibilidad consideran una única salida univariante del modelo, pero muchos modelos arrojan un gran número de datos que posiblemente dependen del espacio o del tiempo. Tenga en cuenta que esto no excluye la posibilidad de realizar diferentes análisis de sensibilidad para cada salida de interés. Sin embargo, para los modelos en los que las salidas están correlacionadas, las medidas de sensibilidad pueden ser difíciles de interpretar.

En el análisis de incertidumbre y sensibilidad, existe un equilibrio crucial entre la escrupulosidad del analista a la hora de explorar los supuestos de entrada y la amplitud de la inferencia resultante. El econometrista Edward E. Leamer ilustra bien esta cuestión:[11][12]

He propuesto una forma de análisis de sensibilidad organizado que denomino "análisis de sensibilidad global", en el que se selecciona un vecindario de supuestos alternativos y se identifica el correspondiente intervalo de inferencias. Se considera que las conclusiones son sólidas sólo si el vecindario de supuestos es lo suficientemente amplio como para ser creíble y el intervalo de inferencias correspondiente es lo suficientemente estrecho como para ser útil.

Obsérvese que Leamer hace hincapié en la necesidad de "credibilidad" en la selección de los supuestos. La forma más fácil de invalidar un modelo es demostrar que es frágil con respecto a la incertidumbre en los supuestos o demostrar que sus supuestos no se han tomado con la "suficiente amplitud". El mismo concepto expresa Jerome R. Ravetz, para quien modelizar mal es cuando hay que suprimir las incertidumbres en los inputs para que los outputs no se vuelvan indeterminados.[13]

Algunas dificultades habituales en el análisis de sensibilidad son:

• Demasiadas entradas de modelo para analizar. El cribado puede utilizarse para reducir la dimensionalidad. Otra forma de abordar la maldición de la dimensionalidad es utilizar el muestreo basado en secuencias de baja discrepancia.[14]
• El modelo tarda demasiado en ejecutarse. Los emuladores (incluida la Representación de Modelos de Alta Dimensionalidad (HDMR)) pueden reducir el tiempo total acelerando el modelo o reduciendo el número de ejecuciones del modelo necesarias.
• No hay información suficiente para construir distribuciones de probabilidad para las entradas. Las distribuciones de probabilidad pueden construirse a partir de la consulta a expertos, aunque incluso en este caso puede ser difícil construir distribuciones con gran fiabilidad. La subjetividad de las distribuciones o rangos de probabilidad afectará mucho al análisis de sensibilidad.
• Propósito poco claro del análisis. Se aplican diferentes pruebas y medidas estadísticas al problema y se obtienen diferentes clasificaciones de los factores. En su lugar, la prueba debería adaptarse al propósito del análisis, por ejemplo, se utiliza el filtrado Monte Carlo si se está interesado en qué factores son los más responsables de generar valores altos/bajos de la salida.
• Se consideran demasiadas salidas del modelo. Esto puede ser aceptable para garantizar la calidad de los submodelos, pero debe evitarse al presentar los resultados del análisis global.
• Sensibilidad a trozos. Es cuando se realiza el análisis de sensibilidad en un submodelo cada vez. Este enfoque no es conservador, ya que podría pasar por alto las interacciones entre los factores en diferentes submodelos (error de tipo II).

Artículo principal: Método del factor único

Uno de los enfoques más sencillos y comunes es el de cambiar un factor cada vez (OAT), para ver qué efecto produce en el resultado.[17][18][19] El OAT suele implicar:

• moviendo una variable de entrada, manteniendo las demás en sus valores de referencia (nominales), entonces,
• devolviendo la variable a su valor nominal, y repitiendo para cada una de las otras entradas de la misma manera

La sensibilidad puede medirse controlando los cambios en el resultado, por ejemplo, mediante derivadas parciales o regresión lineal. Éste parece un enfoque lógico, ya que cualquier cambio observado en el resultado se deberá inequívocamente a la única variable modificada. Además, al cambiar una variable cada vez, se pueden mantener todas las demás fijas en sus valores centrales o de referencia. Esto aumenta la comparabilidad de los resultados (todos los "efectos" se calculan con referencia al mismo punto central en el espacio) y minimiza las posibilidades de que se bloquee el programa informático, algo más probable cuando se modifican simultáneamente varios factores de entrada. Los modelizadores suelen preferir la OAT por razones prácticas. En caso de fallo del modelo, el modelizador sabe inmediatamente cuál es el factor de entrada responsable del fallo.

Sin embargo, a pesar de su simplicidad, este enfoque no explora completamente el espacio de entrada, ya que no tiene en cuenta la variación simultánea de las variables de entrada. Esto significa que el enfoque OAT no puede detectar la presencia de interacciones entre las variables de entrada y no es adecuado para modelos no lineales.[20]

La proporción de espacio de entrada que queda sin explorar con un enfoque OAT crece superexponencialmente con el número de entradas. Por ejemplo, un espacio de parámetros de 3 variables que se explora de una en una equivale a tomar puntos a lo largo de los ejes x, y y z de un cubo centrado en el origen. El casco convexo que delimita todos estos puntos es un octaedro que tiene un volumen de sólo 1/6 del espacio de parámetros total. Más generalmente, el casco convexo de los ejes de un hiperrectángulo forma un hiperoctaedro que tiene un volumen de ${\displaystyle 1/n!}$. Con 5 entradas, el espacio explorado ya desciende a menos del 1% del espacio total de parámetros. E incluso esto es una sobreestimación, ya que el volumen fuera del eje no se está muestreando en absoluto. Compárese con el muestreo aleatorio del espacio, en el que el casco convexo se aproxima a todo el volumen a medida que se añaden más puntos.[21] Aunque en teoría la escasez de OAT no es un problema para los modelos lineales, la verdadera linealidad es rara en la naturaleza.

Los métodos basados en la derivada local consisten en tomar la derivada parcial de la salida Y con respecto a un factor de entrada X_i:

${\displaystyle \left|{\frac {\partial Y}{\partial X_{i}}}\right|_{{\textbf {x}}^{0}},}$

donde el subíndice x⁰ indica que la derivada se toma en un punto fijo del espacio de entrada (de ahí el "local" del nombre de la clase). El modelado adjunto[22][23] y la diferenciación automatizada[24] son métodos de esta clase. Al igual que la OAT, los métodos locales no intentan explorar completamente el espacio de entrada, ya que examinan pequeñas perturbaciones, normalmente una variable cada vez. Es posible seleccionar muestras similares de sensibilidad basada en derivadas mediante Redes Neuronales y realizar la cuantificación de la incertidumbre.

Una de las ventajas de los métodos locales es que es posible hacer una matriz para representar todas las sensibilidades de un sistema, proporcionando así una visión de conjunto que no se puede conseguir con los métodos globales si hay un gran número de variables de entrada y salida.[25]

El análisis de regresión, en el contexto del análisis de sensibilidad, implica ajustar una regresión lineal a la respuesta del modelo y utilizar coeficientes de regresión estandarizados como medidas directas de sensibilidad. La regresión debe ser lineal con respecto a los datos (es decir, un hiperplano, sin términos cuadráticos, etc., como regresores) porque, de lo contrario, es difícil interpretar los coeficientes normalizados. Por lo tanto, este método es más adecuado cuando la respuesta del modelo es lineal; la linealidad puede confirmarse, por ejemplo, si el coeficiente de determinación es grande. Las ventajas del análisis de regresión son su sencillez y su bajo coste computacional.

Artículo principal: Análisis de sensibilidad basado en la varianza

Los métodos basados en la varianza[26] son una clase de enfoques probabilísticos que cuantifican las incertidumbres de entrada y salida como distribuciones de probabilidad, y descomponen la varianza de salida en partes atribuibles a variables de entrada y combinaciones de variables. La sensibilidad de la salida a una variable de entrada se mide por la cantidad de varianza en la salida causada por esa entrada. Pueden expresarse como expectativas condicionales, es decir, considerando un modelo Y = f(X) para X = {X₁, X₂, ... X_k}, una medida de sensibilidad de la i-ésima variable X_i viene dada por,

${\displaystyle \operatorname {Var} \left(E_{{\textbf {X}}_{\sim i}}\left(Y\mid X_{i}\right)\right)}$

donde "Var" y "E" denotan los operadores de varianza y valor esperado respectivamente, y X_~i indica el conjunto de todas las variables de entrada excepto X_i. Esta expresión mide esencialmente la contribución de X_i por sí sola a la incertidumbre (varianza) en Y (promediada sobre las variaciones en otras variables), y se conoce como índice de sensibilidad de primer orden o índice de efecto principal. Es importante destacar que no mide la incertidumbre causada por las interacciones con otras variables. Otra medida, conocida como índice de efecto total, da la varianza total en Y causada por X_i y sus interacciones con cualquiera de las otras variables de entrada. Ambas cantidades suelen normalizarse dividiéndolas por Var(Y).

Los métodos basados en la varianza permiten una exploración completa del espacio de entrada, teniendo en cuenta las interacciones y las respuestas no lineales. Por estas razones se utilizan ampliamente cuando es factible calcularlos. Normalmente, este cálculo implica el uso de métodos de Monte Carlo, pero como esto puede implicar muchos miles de ejecuciones del modelo, pueden utilizarse otros métodos (como emuladores) para reducir el gasto computacional cuando sea necesario.

Una de las principales deficiencias de los métodos de análisis de sensibilidad anteriores es que ninguno de ellos considera la estructura espacialmente ordenada de la superficie de respuesta/salida del modelo Y=f(X) en el espacio de parámetros. Mediante la utilización de los conceptos de variogramas direccionales y covariogramas, el análisis de variogramas de superficies de respuesta (VARS) aborda esta debilidad mediante el reconocimiento de una estructura de correlación espacialmente continua a los valores de Y, y por lo tanto también a los valores de

${\displaystyle {\frac {\partial Y}{\partial x_{i}}}}$. [27][28]

Básicamente, cuanto mayor es la variabilidad, más heterogénea es la superficie de respuesta a lo largo de una dirección/parámetro particular, a una escala de perturbación específica. En consecuencia, en el marco VARS, los valores de los variogramas direccionales para una escala de perturbación determinada pueden considerarse como una ilustración completa de la información de sensibilidad, mediante la vinculación del análisis de variogramas a los conceptos de dirección y escala de perturbación. Como resultado, el marco VARS tiene en cuenta el hecho de que la sensibilidad es un concepto dependiente de la escala, y por lo tanto supera el problema de la escala de los métodos tradicionales de análisis de sensibilidad.[29] Más importante aún, VARS es capaz de proporcionar estimaciones relativamente estables y estadísticamente robustas de la sensibilidad de los parámetros con un coste computacional mucho menor que otras estrategias (alrededor de dos órdenes de magnitud más eficientes). [30] Cabe destacar que se ha demostrado que existe un vínculo teórico entre el marco VARS y los enfoques basados en la varianza y en la derivada.

Los emuladores (también conocidos como metamodelos, modelos sustitutos o superficies de respuesta) son enfoques de modelado de datos/aprendizaje automático que implican la construcción de una función matemática relativamente sencilla, conocida como emulador, que se aproxima al comportamiento de entrada/salida del propio modelo.[31] En otras palabras, es el concepto de "modelar un modelo" (de ahí el nombre de "metamodelo"). La idea es que, aunque los modelos informáticos pueden ser una serie muy compleja de ecuaciones cuya resolución puede llevar mucho tiempo, siempre pueden considerarse como una función de sus entradas Y = f(X). Ejecutando el modelo en una serie de puntos del espacio de entrada, puede ser posible ajustar un emulador mucho más simple η(X), tal que η(X) ≈ f(X) dentro de un margen de error aceptable.[32] Entonces, las medidas de sensibilidad pueden calcularse a partir del emulador (ya sea con Monte Carlo o analíticamente), lo que tendrá un coste computacional adicional insignificante. Es importante destacar que el número de ejecuciones del modelo necesarias para ajustar el emulador puede ser órdenes de magnitud menores que el número de ejecuciones necesarias para estimar directamente las medidas de sensibilidad a partir del modelo.[33]

Claramente, el quid de un enfoque emulador es encontrar un η (emulador) que sea una aproximación suficientemente cercana al modelo f. Esto requiere los siguientes pasos:

1. Muestreo (ejecución) del modelo en una serie de puntos de su espacio de entrada. Esto requiere un diseño de la muestra
2. Selección del tipo de emulador (función matemática) que se va a utilizar.
3. "Entrenamiento" del emulador a partir de los datos de muestra del modelo: suele consistir en ajustar los parámetros del emulador hasta que éste imite lo mejor posible el modelo real.

El muestreo del modelo puede realizarse a menudo con secuencias de baja discrepancia, como la secuencia de Sobol -debida al matemático Ilya M. Sobol- o el muestreo de hipercubos latinos, aunque también pueden utilizarse diseños aleatorios, con pérdida de cierta eficacia. La selección del tipo de emulador y el entrenamiento están intrínsecamente ligados, ya que el método de entrenamiento dependerá de la clase de emulador. Algunos tipos de emuladores que se han utilizado con éxito para el análisis de sensibilidad son:

• Procesos gaussianos[33] (también conocidos como kriging), en los que se supone que cualquier combinación de puntos de salida se distribuye como una distribución gaussiana multivariante. Recientemente, se han utilizado procesos gaussianos "arbolados" para tratar respuestas heteroscedásticas y discontinuas.[34][35]
• Bosques aleatorios,[31] en los que se entrena un gran número de árboles de decisión y se promedia el resultado.
• Aumento del gradiente,[31] donde se utiliza una sucesión de regresiones simples para ponderar los puntos de datos y reducir secuencialmente el error.
• Expansiones de caos polinómico,[36] que utilizan polinomios ortogonales para aproximar la superficie de respuesta.
• Smoothing splines,[37] utilizados normalmente junto con truncamientos HDMR (véase más abajo).
• Redes bayesianas discretas,[38] junto con modelos canónicos como los modelos ruidosos. Los modelos ruidosos explotan la información sobre la independencia condicional entre variables para reducir significativamente la dimensionalidad.

El uso de un emulador introduce un problema de aprendizaje automático, que puede resultar difícil si la respuesta del modelo es muy poco lineal. En todos los casos, es útil comprobar la precisión del emulador, por ejemplo mediante validación cruzada.

Una representación de modelo de alta dimensionalidad (HDMR)[39][40] (el término se debe a H. Rabitz[41]) es esencialmente un enfoque emulador, que consiste en descomponer la salida de la función en una combinación lineal de términos de entrada e interacciones de dimensionalidad creciente. El enfoque HDMR aprovecha el hecho de que el modelo suele poder aproximarse bien despreciando las interacciones de orden superior (de segundo o tercer orden y superiores). Los términos de las series truncadas pueden entonces aproximarse mediante, por ejemplo, polinomios o splines (REFS) y la respuesta puede expresarse como la suma de los efectos principales y las interacciones hasta el orden de truncamiento. Desde esta perspectiva, los HDMR pueden verse como emuladores que desprecian las interacciones de alto orden; la ventaja es que son capaces de emular modelos con mayor dimensionalidad que los emuladores de orden completo.

La prueba de sensibilidad de amplitud de Fourier (FAST) utiliza la serie de Fourier para representar una función multivariante (el modelo) en el dominio de la frecuencia, utilizando una única variable de frecuencia. Por lo tanto, las integrales necesarias para calcular los índices de sensibilidad pasan a ser univariantes, lo que supone un ahorro computacional.

Métodos basados en el filtrado Monte Carlo.[42] Estos también se basan en el muestreo y el objetivo aquí es identificar regiones en el espacio de los factores de entrada correspondientes a valores particulares (por ejemplo, alto o bajo) de la salida.