Equidad (aprendizaje automático)

Decimos que las variables aleatorias ${\textstyle (R,A)}$ satisfacen la independencia si las características protegidas${\textstyle A}$ son estadísticamente independientes a la predicción ${\textstyle R}$, y escribimos ${\textstyle R\bot A}$.

También podemos expresar esta noción con la siguiente fórmula:

$${\displaystyle P(R=r|A=a)=P(R=r|A=b)\quad \forall r\in R\quad \forall a,b\in A}$$

Esto significa que la probabilidad de ser clasificado por el algoritmo en cada uno de los grupos es la misma para dos individuos con características protegidas distintas.

Se puede dar otra noción equivalente de independencia utilizando el concepto de información mutua entre variables aleatorias, definida como

$${\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y)}$$

En esta fórmula, ${\textstyle H}$ es la entropía de la variable estadística. Entonces ${\textstyle (R,A)}$ satisface independencia si ${\textstyle I(R,A)=0}$.

Una posible relajación de la definición de independencia pasa por la introducción de una variable positiva ${\textstyle \epsilon >0}$, y viene dada por la fórmula:

$${\displaystyle P(R=r|A=a)\geq P(R=r|A=b)-\epsilon \quad \forall r\in R\quad \forall a,b\in A}$$

Por último, otra posible relajación pasa por requerir ${\textstyle I(R,A)\leq \epsilon }$.

Decimos que las variables aleatorias ${\textstyle (R,A,Y)}$ satisfacen la separación si las características protegidas ${\textstyle A}$ son estadísticamente independientes a la predicción ${\textstyle R}$ dado el valor objetivo ${\textstyle Y}$ , y escribimos ${\textstyle R\bot A|Y}$.

También podemos expresar esta noción con la siguiente fórmula:

$${\displaystyle P(R=r|Y=q,A=a)=P(R=r|Y=q,A=b)\quad \forall r\in R\quad q\in Y\quad \forall a,b\in A}$$

Esto significa que la probabilidad de ser clasificado por el algoritmo en cada uno de los grupos es la misma para dos individuos con características protegidas distintas dado que ambos pertenecen al mismo grupo (tienen la misma variable objetivo).

Otra expresión equivalente, en el caso de tener una variable objetivo binaria, es la que exige que la tasa de verdaderos positivos y la tasa de falsos positivos sean iguales (y por tanto la tasa de falsos negativos y la tasa de verdaderos negativos también lo sean) para cada valor de las características protegidas:

$${\displaystyle P(R=1|Y=1,A=a)=P(R=1|Y=1,A=b)\quad \forall a,b\in A}$$

$${\displaystyle P(R=1|Y=0,A=a)=P(R=1|Y=0,A=b)\quad \forall a,b\in A}$$

Por último, una posible relajación de las definiciones dadas es que la diferencia entre tasas sea un número positivo menor que una cierta variable ${\textstyle \epsilon >0}$, en lugar de igual a cero.

Decimos que las variables aleatorias ${\textstyle (R,A,Y)}$ satisfacen la suficiencia si las características protegidas ${\textstyle A}$ son estadísticamente independientes al valor objetivo ${\textstyle Y}$ dada la predicción ${\textstyle R}$, y escribimos ${\textstyle Y\bot A|R}$.

También podemos expresar esta noción con la siguiente fórmula:

$${\displaystyle P(Y=q|R=r,A=a)=P(Y=q|R=r,A=b)\quad \forall q\in Y\quad r\in R\quad \forall a,b\in A}$$

Esto significa que la probabilidad de estar en realidad en cada uno de los grupos es la misma para dos individuos con características protegidas distintas dado que la predicción los englobe en el mismo grupo.

Por último, resumimos algunos de los principales resultados que relacionan las tres definiciones dadas arriba:

• Si ${\textstyle A}$ y ${\textstyle Y}$ no son estadísticamente independientes, entonces la suficiencia y la independencia no pueden darse a la vez.
• Asumiendo que ${\textstyle Y}$ es binaria, si ${\textstyle A}$ y ${\textstyle Y}$ no son estadísticamente independientes, y ${\textstyle R}$ y ${\textstyle Y}$ tampoco son estadísticamente independientes, entonces la independencia y la separación no pueden darse a la vez.
• Si ${\textstyle (R,A,Y)}$ como distribución conjunta tiene probabilidad positiva para todos sus posibles valores y ${\textstyle A}$ y ${\textstyle Y}$ no son estadísticamente independientes, entonces la separación y la suficiencia no pueden darse a la vez.

Las definiciones en estas secciones se centran en el resultado predicho ${\textstyle R}$ para varias distribuciones de sujetos. Son las nociones más simples e intuitivas de equidad.

• Group fairness, también llamado statistical parity, demographic parity, acceptance rate y benchmarking. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen la misma probabilidad de ser asignados a la clase positiva. Es decir, si se satisface la siguiente fórmula:

$${\displaystyle P(R=+|A=a)=P(R=+|A=b)\quad \forall a,b\in A}$$

• Conditional statistical parity. Consiste básicamente en la definición anterior, pero restringida solo a un subconjunto de los atributos. En notación matemática:

$${\displaystyle P(R=+|L=l,A=a)=P(R=+|L=l,A=b)\quad \forall a,b\in A\quad \forall l\in L}$$

Estas definiciones no sólo consideran el resultado predicho ${\textstyle R}$ pero también lo comparan con el resultado real ${\textstyle Y}$.

• Predictive parity, también llamado outcome test. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen el mismo PPV. Es decir, si se satisface la siguiente fórmula:

$${\displaystyle P(Y=+|R=+,A=a)=P(Y=+|R=+,A=b)\quad \forall a,b\in A}$$

Matemáticamente, si un clasificador tiene el mismo PPV para ambos grupos, también tiene el mismo FDR, satisfaciendo la fórmula:

$${\displaystyle P(Y=-|R=+,A=a)=P(Y=-|R=+,A=b)\quad \forall a,b\in A}$$

• False positive error rate balance, también llamado predictive equality. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen el mismo FPR. Es decir, si se satisface la siguiente fórmula:

$${\displaystyle P(R=+|Y=-,A=a)=P(R=+|Y=-,A=b)\quad \forall a,b\in A}$$

Matemáticamente, si un clasificador tiene el mismo FPR para ambos grupos, también tiene el mismo TNR, satisfaciendo la fórmula:

$${\displaystyle P(R=-|Y=-,A=a)=P(R=-|Y=-,A=b)\quad \forall a,b\in A}$$

• False negative error rate balance, también llamado equal opportunity. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen el mismo FNR. Es decir, si se satisface la siguiente fórmula:

$${\displaystyle P(R=-|Y=+,A=a)=P(R=-|Y=+,A=b)\quad \forall a,b\in A}$$

Matemáticamente, si un clasificador tiene el mismo FNR para ambos grupos, también tiene el mismo TPR, satisfaciendo la fórmula:

$${\displaystyle P(R=+|Y=+,A=a)=P(R=+|Y=+,A=b)\quad \forall a,b\in A}$$

• Equalized odds, también llamado conditional procedure accuracy equality and disparate mistreatment. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen el mismo TPR y el mismo FPR, satisfaciendo la fórmula:

$${\displaystyle P(R=+|Y=y,A=a)=P(R=+|Y=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}$$

• Conditional use accuracy equality. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen el mismo PPV y el mismo NPV, satisfaciendo la fórmula:

$${\displaystyle P(Y=y|R=y,A=a)=P(Y=y|R=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}$$

• Overall accuracy equality. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen la misma precisión de predicción, es decir, la probabilidad de predecir correctamente a qué clase pertenece un sujeto. Es decir, si se satisface la siguiente fórmula:

$${\displaystyle P(R=Y,A=a)=P(R=Y|A=b)\quad \forall a,b\in A}$$

• Treatment equality. Un clasificador satisface esta definición si los sujetos en los grupos protegidos y en los no protegidos tienen el mismo ratio de FN y FP, satisfaciendo la fórmula:

$${\displaystyle {\frac {FN_{A=a}}{FP_{A=a}}}={\frac {FN_{A=b}}{FP_{A=b}}}}$$

Estas definiciones se basan en el resultado real ${\textstyle Y}$ y en la probabilidad predicha (la puntuación) ${\textstyle S}$.

• Test-fairness, también conocido como calibration o matching conditional frequencies. Un clasificador satisface esta definición si individuos con la misma puntuación ${\textstyle S}$ tienen la misma probabilidad de ser clasificados en la clase positiva independientemente de si pertenecen a los grupos protegidos o no:

$${\displaystyle P(Y=+|S=s,A=a)=P(Y=+|S=s,A=b)\quad \forall s\in S\quad \forall a,b\in A}$$

• Well-calibration. Es una extensión de la definición anterior. Añade que, cuando individuos dentro o fuera de los grupos protegidos tienen la misma puntuación ${\textstyle S}$ deben tener la misma probabilidad de ser clasificados en la clase positiva, y esta probabilidad debe ser igual a ${\textstyle S}$ :

$${\displaystyle P(Y=+|S=s,A=a)=P(Y=+|S=s,A=b)=s\quad \forall s\in S\quad \forall a,b\in A}$$

• Balance for positive class. Un clasificador satisface esta definición si los individuos que constituyen la clase positiva pertenecientes tanto los grupos protegidos como de los no protegidos tienen la misma media de puntuación ${\textstyle S}$. Esto quiere decir que la esperanza de la puntuación para los grupos protegidos y los no protegidos con clase real positiva ${\textstyle Y}$ es la misma, satisfaciendo la fórmula:

$${\displaystyle E(S|Y=+,A=a)=E(S|Y=+,A=b)\quad \forall a,b\in A}$$

• Balance for negative class. Un clasificador satisface esta definición si los individuos que constituyen la clase negativa pertenecientes tanto los grupos protegidos como de los no protegidos tienen la misma media de puntuación ${\textstyle S}$. Esto quiere decir que la esperanza de la puntuación para los grupos protegidos y los no protegidos con clase real negativa ${\textstyle Y}$ es la misma, satisfaciendo la fórmula:

$${\displaystyle E(S|Y=-,A=a)=E(S|Y=-,A=b)\quad \forall a,b\in A}$$

Normalmente, el clasificador no es el único problema, el conjunto de datos también está sesgado. La discriminación de un conjunto de datos ${\textstyle D}$ con respecto al grupo ${\textstyle A=a}$ se puede definir como sigue:

$${\displaystyle disc_{A=a}(D)={\frac {|\{X\in D|X(A)\neq a,X(Y)=+\}|}{|\{X\in D|X(A)\neq a\}|}}-{\frac {|\{X\in D|X(A)=a,X(Y)=+\}|}{|\{X\in D|X(A)=a\}|}}}$$

Esto es, una aproximación de la diferencia entre las probabilidades de pertenecer a la clase positiva dado que el sujeto tiene una característica protegida distinta de a ${\textstyle a}$ e igual a ${\textstyle a}$.

Los algoritmos que corrigen el sesgo mediante preprocesamiento intentan eliminar información sobre ciertos atributos de los datos que pueden provocar un comportamiento injusto de la IA, al mismo tiempo que tratan de alterar estos datos lo menos posible. Eliminar del conjunto de datos una variable protegida no es suficiente, ya que otras variables pueden estar correlacionadas con ella.

Una posible forma de hacerlo consiste en asociar cada individuo del conjunto de datos a una representación intermedia en la que sea imposible determinar si pertenece o no a un grupo protegido, a la vez que se mantiene el resto de la información tanto como sea posible. Después, se ajusta la nueva representación del conjunto de datos para buscando el máximo acierto del algoritmo.

De este modo, los individuos se vinculan a una nueva representación en la que la probabilidad de que un miembro de un grupo protegido sea asociado a cierto valor de la nueva representación es la misma que la de un individuo no protegido. Así, es la nueva representación la que se utiliza para obtener la predicción para el individuo en vez de los datos originales. Como la representación intermedia se ha construido dando la misma probabilidad a cada individuo independientemente de si pertenecen al grupo protegido o no, esto queda oculto para el clasificador.

Se puede encontrar un ejemplo en Zemel y otros [7] en el que se utiliza una variable aleatoria multinomial como representación intermedia. En el proceso, se preserva toda la información excepto la que pueda conducir a decisiones sesgadas a la vez que se busca una predicción lo más correcta que sea posible.

Por un lado, este procedimiento tiene la ventaja de que los datos preprocesados se pueden utilizar para cualquier tarea de aprendizaje automático. Además, no hay que modificar el código del clasificador, ya que la corrección se aplica a los datos que se van a introducir en él. Por otro lado, los otros métodos obtienen mejores resultados tanto en acierto como en equidad. [8]

La técnica del reweighing, en español reasignación de pesos, es un ejemplo de algoritmo de preprocesamiento. La idea consiste en asignar un peso a cada punto del conjunto de datos de tal manera que la discriminación ponderada es 0 respecto al grupo de interés.

Si el conjunto de datos ${\textstyle D}$ fuera no sesgado, la variable protegida ${\textstyle A}$ y la variable objetivo ${\textstyle Y}$ serían estadísticamente independientes y la probabilidad de la distribución conjunta sería el producto de las probabilidades de la siguiente manera:

$${\displaystyle P_{exp}(A=a\wedge Y=+)=P(A=a)\times P(Y=+)={\frac {|\{X\in D|X(A)=a\}|}{|D|}}\times {\frac {|\{X\in D|X(Y)=+\}|}{|D|}}}$$

Sin embargo, en la vida real el conjunto de datos suele estar sesgado y las variables no son estadísticamente independientes por lo que la probabilidad observada es:

$${\displaystyle P_{obs}(A=a\wedge Y=+)={\frac {|\{X\in D|X(A)=a\wedge X(Y)=+\}|}{|D|}}}$$

Para compensar el sesgo, se asignan mayores pesos a los puntos no favorecidos y menores a los favorecidos. Para cada ${\textstyle X\in D}$ obtenemos:

$${\displaystyle W(X)={\frac {P_{exp}(A=X(A)\wedge Y=X(Y))}{P_{obs}(A=X(A)\wedge Y=X(Y))}}}$$

Una vez tenemos asignado a cada ${\textstyle X}$ un peso asociado ${\textstyle W(X)}$ calculamos la discriminación ponderada con respecto al grupo ${\textstyle A=a}$ de la siguiente manera:

$${\displaystyle disc_{A=a}(D)={\frac {\sum W(X)X\in \{X\in D|X(A)\neq a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)\neq a\}}}-{\frac {\sum W(X)X\in \{X\in D|X(A)=a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)=a\}}}}$$

Se puede demostrar que después de la asignación de los pesos la discriminación ponderada es 0.

Otra aproximación al problema es corregir el sesgo durante el entrenamiento. Esto puede hacerse añadiendo restricciones al objetivo del algoritmo.[10] Estas restricciones obligan al algoritmo a tener en cuenta la equidad, de forma que el máximo éxito no sea su único objetivo, sino también mantener ciertas métricas iguales tanto para el grupo protegido como para el resto de individuos. Por ejemplo, se puede añadir al algoritmo la condición de que la tasa de falsos positivos sea la misma para individuos del grupo protegido y para los que no lo son.

Las principales métricas que se utilizan en esta técnica son la tasa de falsos positivos, la tasa de falsos negativos y la tasa general de fallo. Es posible añadir sólo una o varias de estas restricciones al objetivo. Nótese que la igualdad de las tasas de falsos negativos implica la igualdad también de las tasas de verdaderos positivos, lo que significa igualdad de oportunidad. Tras añadir las restricciones al algoritmo, el problema puede volverse infactible y por tanto puede ser necesario relajarlas.

Esta técnica obtiene buenos resultados al mejorar la equidad, al mismo tiempo que mantiene una exactitud alta, y permite al programador elegir las métricas que mejor se ajusten a sus necesidades. Sin embargo, la técnica y las métricas utilizadas varían en función del problema y es necesario modificar el código del algoritmo, lo que no siempre es posible.[8]

Se entrenan dos clasificadores al mismo tiempo con algún método basado en el gradiente (p.e.: descenso de gradiente). El primero (el predictor) intenta resolver el problema de predecir la variable objetivo ${\textstyle Y}$ dada la entrada ${\textstyle X}$, modificando sus pesos ${\textstyle W}$ para minimizar una función de pérdida ${\textstyle L_{P}({\hat {y}},y)}$. El segundo (el adversario) intenta resolver el problema de predecir la variable sensible ${\textstyle A}$, dado ${\textstyle {\hat {Y}}}$ modificando sus pesos ${\textstyle U}$ para minimizar otra función de pérdida ${\textstyle L_{A}({\hat {a}},a)}$.

Una puntualización importante es que, para que se propague correctamente, la variable ${\textstyle {\hat {Y}}}$ de arriba debe referirse a la salida en bruto del clasificador y no a la salida discreta; por ejemplo, con una red neuronal artificial y un problema de clasificación ${\textstyle {\hat {Y}}}$, se podría referir a la salida de la capa softmax.

A continuación, actualizamos ${\textstyle U}$ para minimizar ${\textstyle L_{A}}$ en cada paso del entrenamiento según el gradiente ${\textstyle \nabla _{U}L_{A}}$ y modificamos ${\textstyle W}$ conforme a la expresión:

$${\displaystyle \nabla _{W}L_{P}-proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}-\alpha \nabla _{W}L_{A}}$$

donde $\alpha$ es un hiperparámetro a elegir que puede variar en cada paso.

Representación gráfica de los vectores usados en adversarial debiasing como se muestra en Zhan y otros.[11]

La idea intuitiva consiste en que el predictor intente minimizar ${\textstyle L_{P}}$ ((y de ahí el término ${\textstyle \nabla _{W}L_{P}}$) mientras, al mismo tiempo, maximice ${\textstyle L_{A}}$ (y de ahí el término ${\textstyle -\alpha \nabla _{W}L_{A}}$), de tal manera que el adversario fracase al predecir la variable sensible a partir de ${\textstyle {\hat {Y}}}$.

El término ${\textstyle -proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}}$ evita que el predictor cambie de una forma que pueda ayudar al advesario disminuir su función de pérdida.

Se puede demostrar que entrenar un modelo de clasificación predictor con este algoritmo mejora la paridad demográfica con respecto a entrenarlo sin el adversario.

La última técnica trata de corregir las respuestas del clasificador para alcanzar la equidad. En este método, necesitamos hacer una predicción binaria para los individuos y tenemos un clasificador que devuelve una puntuación asociada a cada uno de ellos. Los individuos con puntuaciones altas tenderán a obtener una respuesta positiva, mientras que aquellos con una puntuación baja tendrán una respuesta negativa, pero necesitamos determinar el umbral a partir del cual se responde positiva o negativamente. Nótese que variar el umbral afecta al compromiso entre la tasa de verdaderos positivos y la tasa de verdaderos negativos, y en función del problema nos puede interesar mejorar una a costa de la otra.

Si la función de puntuación es justa, en el sentido de que es independiente del atributo protegido, entonces cualquier elección del valor umbral será también justa, pero este tipo de clasificadores tienden a sesgarse con facilidad, por lo que puede que necesitemos especificar un umbral distinto para cada grupo protegido. Una forma de hacerlo es estudiar las gráficas de la tasa de verdaderos positivos frente a la de verdaderos negativos para distintos valores del umbral (a esto se le conoce como curva ROC) y comprobar para qué valor del umbral las tasas son iguales para el grupo protegido y para el resto de individuos.[13]

Entre las ventajas del post-procesamiento están que la técnica se puede aplicar después de usar cualquier clasificador, sin necesidad de modificarlo, y obtiene buenos resultados mejorando métricas de equidad. Entre los inconvenientes, es necesario consultar el valor del atributo protegido durante el post-procesamiento y se restringe la libertad del programador para regular el compromiso entre equidad y exactitud.[8]

Dado un clasificador, sea ${\textstyle P(+|X)}$ la probabilidad calculada por este de que el sujeto ${\textstyle X}$ pertenezca a la clase positiva. Cuando ${\textstyle P(+|X)}$ sea cercano a 1 o 0, el sujeto ${\textstyle X}$ será clasificado, con un alto grado de seguridad, como perteneciente a la clase positiva o negativa respectivamente. Sin embargo, cuando ${\textstyle P(+|X)}$ está más próximo a 0.5 la clasificación no está clara.

Decimos que ${\textstyle X}$ es un sujeto rechazado si ${\textstyle max(P(+|X),1-P(+|X))\leq \theta }$ con cierto ${\textstyle \theta }$ tal que ${\textstyle 0.5<\theta <1}$.

El algoritmo consiste en clasificar los sujetos no rechazados siguiendo la regla explicada al principio y los rechazados de la siguiente manera: si la instancia es un ejemplo de grupo desprivilegiado (${\displaystyle X(A)=a}$) entonces clasificarla como positivo, en el otro caso, clasificarla como negativo.

Podemos optimizar diferentes medidas de discriminación como funciones de ${\textstyle \theta }$ para encontrar el ${\textstyle \theta }$ óptimo para cada problema y evitar volvernos discriminatorios contra el grupo privilegiado.