Algorithmic Bias

Si un modelo de contratación se entrena con decisiones históricas de una empresa que contrató mayoritariamente a hombres, puede aprender a penalizar currículums de mujeres. El modelo no «decide» discriminar: reproduce y a veces amplifica los patrones de sus datos.

Ojo: no confundir con el bias como parámetro de una neurona, que es un concepto matemático distinto.

Fuentes: datos no representativos, etiquetas que reflejan prejuicios históricos, variables sustitutas (el código postal como proxy de origen étnico), objetivos mal definidos y evaluación insuficiente por subgrupos. Existen varias definiciones formales de equidad (paridad demográfica, igualdad de oportunidades, calibración) que en general no pueden satisfacerse todas a la vez. Mitigaciones: auditorías por subgrupos, rebalanceo de datos, restricciones en el entrenamiento y supervisión humana.

Los modelos se usan en decisiones que afectan vidas: crédito, empleo, salud, justicia.