Sesgos en modelos de IA: de dónde vienen y qué hacer en el diseño
Un sesgo en un modelo de IA es una tendencia que da peores resultados a ciertos grupos. Casos reales, sus orígenes y cómo detectarlo y reducirlo en el diseño.
¿Qué es un sesgo en un modelo de IA?
Un modelo de lenguaje no tiene intenciones, pero aprende patrones de texto y datos producidos por personas, y esos materiales contienen prejuicios y vacíos. El NIST, la agencia de estándares de Estados Unidos, publicó en 2022 la guía SP 1270 sobre sesgo en IA. Parte de una idea incómoda: el sesgo no es nuevo ni exclusivo de la IA, y no es posible lograr riesgo cero de sesgo en un sistema de IA. Por eso el trabajo no consiste en “tener un modelo limpio”, sino en medir, reducir y decidir qué nivel es aceptable.
Un ejemplo temprano con embeddings (la representación numérica de palabras, ver embeddings): en 2016, Bolukbasi y colaboradores mostraron que embeddings entrenados con artículos de Google News exhibían estereotipos de género en un grado alarmante, según los propios autores. El título del artículo es la analogía misma: “¿Hombre es a programador como mujer es a ama de casa?”. Los autores propusieron un método para quitar esos estereotipos conservando asociaciones útiles, como la de “reina” con lo femenino.
¿De dónde vienen los sesgos?
El NIST clasifica el sesgo en tres categorías que se mezclan en un mismo producto:
- Sistémico. Viene de procedimientos y prácticas de instituciones que favorecen a unos grupos y desfavorecen a otros, sin que haya prejuicio consciente. Está presente en los datos que se usan para entrenar.
- Estadístico y computacional. Aparece cuando la muestra no representa a la población. Ocurre, por ejemplo, cuando un algoritmo se entrena con un tipo de datos y no puede generalizar a otros.
- Humano. Son errores sistemáticos de juicio de las personas que diseñan, evalúan o usan el sistema, también al interpretar sus resultados.
Los casos de la siguiente sección muestran cómo se manifiestan en la práctica.
¿Qué casos documentados existen?
| Caso | Qué pasó | Qué ilustra |
|---|---|---|
| Algoritmo de salud en EE. UU. (Obermeyer y colaboradores, Science, 2019) | Un algoritmo comercial usaba el costo de atención como indicador de necesidad. A igual puntaje de riesgo, los pacientes negros estaban considerablemente más enfermos. Corregirlo habría subido su proporción entre quienes reciben ayuda extra del 17,7 % al 46,5 %. | Un mal proxy: se midió costo, no enfermedad |
| Gender Shades (Buolamwini y Gebru, 2018) | Tres sistemas comerciales de clasificación de género fallaron hasta un 34,7 % con mujeres de piel oscura, frente a un máximo de 0,8 % con hombres de piel clara. Dos benchmarks usados entonces tenían un 79,6 % y un 86,2 % de personas de piel clara. | Datos de evaluación poco diversos |
| Reclutamiento de Amazon (Reuters, 2018) | Un motor experimental de currículums, iniciado en 2014, penalizaba currículums con la palabra “women’s” y rebajaba a egresadas de dos universidades solo de mujeres. Se entrenó con currículums de diez años, en su mayoría de hombres. Los reclutadores miraban sus recomendaciones, pero nunca dependían solo de ellas. | Datos históricos desbalanceados |
| Ranking de currículums con LLM (Univ. de Washington, 2024) | Tres modelos de lenguaje, al ordenar currículums idénticos que solo cambiaban el nombre, prefirieron nombres asociados a personas blancas el 85 % de las veces y a personas negras el 9 %. Los nombres asociados a hombres negros nunca se favorecieron frente a los de hombres blancos. | Un modelo de lenguaje usado para ordenar personas |
Las cifras de la UW vienen de más de tres millones de comparaciones con 120 nombres, más de 550 currículums y más de 500 ofertas en nueve ocupaciones. Es un estudio sobre nombres, no sobre un producto concreto en uso real, y conviene leerlo como una señal de riesgo, no como una tasa de error de tu producto.
¿Por qué le importa a un diseñador?
Porque las decisiones de producto pueden amplificar o reducir el sesgo, y porque el equipo de diseño suele decidir qué se mide:
- Qué indicador se usa como objetivo. El caso de salud muestra el riesgo de elegir un dato conveniente (costo) en lugar del que importa (necesidad). Pregunta siempre qué mide realmente el indicador.
- Con quién se prueba. Gender Shades mostró que un promedio puede ocultar un grupo con 34,7 % de error frente a 0,8 % en otro. Prueba con casos diversos y revisa resultados por grupo.
- Ejemplos por defecto. Si una herramienta muestra siempre el mismo tipo de personas o voces, define quién es “normal” para el usuario.
- Canal de reporte. Si el usuario no puede señalar una respuesta injusta, el sesgo queda invisible para el equipo.
- Dónde decide la IA y dónde una persona. En contratación, salud o crédito, deja una revisión humana real, ver human-in-the-loop.
¿Cómo detectarlo y reducirlo?
Estas prácticas son recomendaciones de diseño; el NIST organiza los desafíos en datos, pruebas y evaluación, y factores humanos.
- Prueba con pares mínimos. Repite la misma entrada cambiando solo un dato (el nombre, el género, el idioma) y compara. Es la lógica del estudio de la UW.
- Compara resultados entre grupos, no solo el promedio.
- Revisa las salidas con personas de los grupos afectados, cuando sea posible.
- Da un mecanismo visible para reportar respuestas injustas y úsalo como fuente de pruebas.
- Documenta qué datos se usaron, qué se midió y qué límites se conocen.
- Repite las pruebas cuando cambie el modelo o el prompt: un cambio de versión puede mover el comportamiento.
¿Cuándo no es un problema?
No todo sesgo es dañino. Un asistente de recetas que prefiere ingredientes de una cocina concreta puede estar haciendo bien su trabajo si el producto es para esa cocina. El criterio útil es si el sesgo produce daño o desigualdad injusta para alguien, no si el sistema tiene preferencias. Tampoco conviene prometer neutralidad: el propio NIST descarta el riesgo cero.
Ejemplo
Ejemplo ilustrativo: un equipo diseña una función que ordena candidatos para un puesto. Antes de lanzarla, toma un mismo currículum y lo envía varias veces cambiando solo el nombre, con nombres comunes en distintos grupos. Compara las posiciones que recibe cada versión. Si el orden cambia de forma sistemática, la función no sale como está. El equipo la rediseña para que el sistema no vea el nombre (y repite la prueba, porque ocultarlo no basta si otros datos actúan como proxy), muestra al reclutador los criterios que usó para ordenar y deja la decisión final en sus manos. También añade un botón para reportar un ranking que parezca injusto.
Errores comunes
- Creer que un modelo es neutral porque es “matemático”.
- Medir solo el promedio de calidad.
- Probar con un único tipo de usuario.
- Usar un indicador cómodo como si fuera el objetivo real, como el costo en lugar de la necesidad.
- Ignorar los sesgos de uso: un sistema correcto en un contexto puede ser injusto en otro.
- Dejar el reporte de errores escondido en un formulario de soporte.
Fuentes
- NIST, “Towards a Standard for Identifying and Managing Bias in Artificial Intelligence” (SP 1270, 2022): https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence
- Bolukbasi et al., “Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings” (2016): https://arxiv.org/abs/1607.06520
- Obermeyer et al., “Dissecting racial bias in an algorithm used to manage the health of populations”, Science, 2019 (registro en PubMed): https://pubmed.ncbi.nlm.nih.gov/31649194/
- Buolamwini y Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification” (2018): https://proceedings.mlr.press/v81/buolamwini18a.html
- Euronews, “Amazon scraps secret AI recruiting tool that showed bias against women” (basado en Reuters, 2018): https://www.euronews.com/business/2018/10/10/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women
- Universidad de Washington, “AI tools show biases in ranking job applicants’ names according to perceived race and gender” (2024): https://www.washington.edu/news/2024/10/31/ai-bias-resume-screening-race-gender/