Los sesgos algorítmicos ocurren cuando sistemas basados en datos y reglas automáticas reproducen o amplifican discriminaciones existentes. Cuando estos sistemas se emplean en decisiones públicas —como justicia penal, salud, empleo, servicios sociales o vigilancia— las consecuencias pueden afectar derechos, recursos y confianza democrática. A continuación se analiza qué son, cómo aparecen, ejemplos documentados, impactos concretos y medidas de mitigación.
Contenido del Artículo
En qué consisten los sesgos algorítmicos
Un sesgo algorítmico aparece cuando un sistema o modelo automatizado genera de manera constante resultados diferentes entre diversos colectivos sociales (como sexo, raza, nivel socioeconómico, edad o zona de residencia). Dichas disparidades pueden originarse por múltiples factores:
- Datos históricos sesgados: archivos administrativos que incorporan decisiones humanas previas con sesgos discriminatorios.
- Variables proxy: empleo de indicadores que, de forma involuntaria, funcionan como sustitutos de atributos protegidos (por ejemplo, la zona postal utilizada como indicio de raza).
- Falta de representatividad: conjuntos de entrenamiento que no contemplan suficientes ejemplos procedentes de grupos minoritarios.
- Objetivos mal definidos: búsqueda de optimizar un indicador concreto (costes, precisión global) sin evaluar la equidad entre distintos colectivos.
- Retroalimentación y bucles: implementación del sistema que modifica comportamientos y produce datos aún más sesgados, consolidando la desigualdad.
Ejemplos y casos documentados
- Sistemas de evaluación de riesgo penal: diversas investigaciones académicas y periodísticas han evidenciado que ciertas herramientas diseñadas para anticipar la reincidencia solían marcar con mayor frecuencia a personas negras como de alto riesgo y a personas blancas como de bajo riesgo, pese a que las tasas reales de reincidencia eran comparables, lo que terminaba generando medidas más restrictivas para algunos grupos.
- Herramientas de selección de personal: varias empresas tecnológicas han decidido abandonar algoritmos de selección después de constatar que perjudicaban currículos asociados a perfiles femeninos, por ejemplo, por la pertenencia a organizaciones de mujeres o por haberse graduado en instituciones con mayoría femenina.
- Reconocimiento facial y vigilancia: distintos estudios independientes identificaron errores más frecuentes al analizar rostros de mujeres y de personas con tonos de piel más oscuros. En varios países se documentaron detenciones equivocadas derivadas de coincidencias fallidas, lo cual impulsó la imposición de moratorias y vetos locales a su uso por parte de cuerpos de seguridad.
- Algoritmos sanitarios: algunos análisis revelaron que ciertos modelos utilizados para asignar prioridad en programas de atención intensiva infravaloraban las necesidades de pacientes pertenecientes a minorías cuando incorporaban el gasto sanitario histórico como indicador de necesidad, alejando recursos de quienes realmente los necesitaban.
Impactos y riesgos específicos en decisiones públicas
- Discriminación institucionalizada: las decisiones automatizadas pueden afianzar tratos desiguales al otorgar acceso a empleo, salud o justicia.
- Pérdida de derechos y libertades: fallos en sistemas de vigilancia o en evaluaciones de riesgo penal pueden desembocar en detenciones improcedentes, estigmas o restricciones injustificadas.
- Desigualdad en asignación de recursos: los sesgos presentes en modelos que distribuyen servicios sociales o sanitarios pueden dejar sin apoyos clave a comunidades en situación vulnerable.
- Erosión de la confianza pública: la falta de transparencia y los fallos persistentes debilitan la credibilidad de instituciones que delegan sus decisiones en algoritmos.
- Retroalimentación negativa: una mayor vigilancia o número de sanciones en un barrio produce más registros de delitos, reforzando el modelo y prolongando la exposición excesiva de esa comunidad.
- Costes económicos y legales: litigios, indemnizaciones y revisiones normativas generan gastos públicos y retrasos en la prestación de servicios.
Cómo se detectan y miden los sesgos
La detección requiere un análisis separado por grupos pertinentes y la incorporación de métricas de equidad, junto con evaluaciones generales de desempeño. Entre las prácticas recomendadas se encuentran:
- Desagregación de resultados: analizar y contrastar las tasas de falsos positivos, falsos negativos, así como la sensibilidad y la especificidad entre distintos grupos.
- Pruebas de impacto: generar simulaciones que permitan observar cómo se redistribuyen beneficios y posibles cargas antes y después de la implementación.
- Auditorías independientes: someter a evaluación externa el código, los datos y las decisiones para detectar posibles proxies discriminatorios y fallos metodológicos.
- Evaluaciones de robustez: aplicar pruebas mediante datos sintéticos y muestras provenientes de poblaciones con baja representación.
Estrategias para mitigar los riesgos
- Transparencia y documentación: difundir una descripción clara de los datos, los propósitos, las limitaciones y las métricas de equidad, además de dejar constancia de las decisiones de diseño.
- Evaluación de impacto algorítmico: requerir análisis formales previos al despliegue en áreas delicadas que valoren riesgos y estrategias de mitigación.
- Participación y gobernanza: integrar en el proceso a las comunidades implicadas, a entidades de derechos humanos y a especialistas de distintos ámbitos para colaborar en el diseño y la supervisión.
- Datos representativos y limpieza: ampliar la diversidad y calidad de los datos y suprimir proxies que puedan perpetuar sesgos discriminatorios.
- Supervisión humana significativa: asegurar que exista intervención humana en decisiones finales de alto riesgo y preparar a los responsables para identificar fallos.
- Auditorías periódicas: aplicar revisiones externas de forma constante con el fin de encontrar deterioros del modelo y consecuencias imprevistas.
- Límites de uso: vetar o limitar la utilización de algoritmos en resoluciones irreversibles o de gran trascendencia cuando no haya garantías firmes de equidad.
Sugerencias destinadas a las políticas públicas
- Marco regulatorio claro: establecer obligaciones de transparencia, derechos de explicación y normas de responsabilidad para entidades públicas que usen algoritmos.
- Protocolos de prueba antes del despliegue: pilotos controlados y evaluación de impactos sociales y de derechos humanos.
- Creación de unidades de auditoría pública: equipos técnicos independientes que revisen modelos, datos y decisiones y publiquen resultados accesibles.
- Acceso a recursos y reparación: mecanismos para que personas afectadas soliciten revisión humana y reparaciones en caso de daño.
- Capacitación y alfabetización digital: formar a funcionarios y ciudadanía para comprender limitaciones y riesgos de la inteligencia artificial y el aprendizaje automático.
Los sesgos algorítmicos en decisiones públicas no son solo fallos técnicos: reflejan y pueden agravar desigualdades sociales. Su peligro radica en la escala y la apariencia de neutralidad que otorgan a decisiones que en realidad reproduzcan prejuicios históricos o errores de modelado. La respuesta efectiva requiere combinar controles técnicos (mejores datos, auditorías, métricas de equidad) con marcos éticos y legales que exijan transparencia, participación ciudadana y responsabilidad. Solo así la automatización puede servir al interés público sin socavar derechos ni aumentar la desigualdad, manteniendo a las personas y la rendición de cuentas en el centro de la toma de decisiones.