Calibración de confianza: que el usuario confíe lo justo en la IA

¿Qué significa sobreconfiar y desconfiar?

Hay dos errores opuestos. La sobreconfianza, o sobre-dependencia, es aceptar y usar respuestas incorrectas de la IA. La desconfianza, o infra-dependencia, es rechazar respuestas correctas porque la persona no se fía del sistema. Ambos son costosos. El primero produce errores que pasan desapercibidos; el segundo hace que la herramienta se abandone aunque sea útil.

Microsoft Research describe su programa de reliance apropiado con esa misma idea: equilibrar ambos errores. Sus definiciones son directas: la sobre-dependencia es confiar demasiado en las salidas de la IA y aceptarlas aunque sean incorrectas; la infra-dependencia es no aceptar ni usar un sistema que sí funciona bien. Según esa misma página, cualquiera de las dos puede llevar a un mal rendimiento del equipo humano-IA o al abandono del producto.

¿Por qué le importa a un diseñador?

Porque la confianza no se controla con un número. Una respuesta con aspecto seguro, bien redactada y sin fisuras genera confianza aunque sea falsa. Una respuesta con dudas visibles puede generar desconfianza aunque sea correcta. El diseño decide qué señales ve la persona, y esas señales pesan más que la precisión interna del modelo.

La investigación reciente muestra lo difícil que es. En un preprint de 2024 (Li et al.), 126 participantes decidieron con ayuda de una IA que acertaba el 70% de las veces, pero cuya confianza declarada promedio era de 60% (subconfiada), 70% (bien calibrada) o 80% (sobreconfiada). Cada condición tuvo 42 personas. En las dos condiciones mal calibradas, entre 64% y 67% de los participantes juzgó que la IA estaba bien calibrada, y solo entre 26% y 29% identificó el problema. Además, la ganancia de precisión que aportó la IA fue menor cuando estaba mal calibrada: 6.5% y 7.2%, frente a 11.9% con calibración correcta.

En un segundo experimento, también de 126 participantes, los autores mostraron el nivel de calibración. La detección subió a 74–76%, pero la confianza en la IA mal calibrada cayó: con la IA sobreconfiada, el porcentaje de veces que la persona cambiaba su respuesta por la de la IA bajó de 69.6% a 46.1%, y la infra-dependencia subió de 6.6% a 12.0%. La mejora en la toma de decisiones no apareció en ninguna condición. Es decir: hacer visible la calibración ayuda a detectar errores, pero no basta para que las decisiones mejoren.

Dos matices. Es un solo estudio, con una tarea de laboratorio y una IA con precisión fija, así que sirve como señal, no como regla. Y la lección práctica es la misma que para cualquier señal de confianza: hay que probarla con usuarios reales y medir qué hacen después de verla.

¿Cómo se diseña para calibrar?

Cinco decisiones que conviene tomar con evidencia de uso, no por intuición:

1. Muestra la fiabilidad por tipo de tarea. Un sistema puede ser muy bueno resumiendo y pobre calculando. Decir en qué tipo de tarea es más confiable ayuda más que un porcentaje global.
2. Indica la incertidumbre de cada respuesta. No todas las respuestas tienen la misma certeza. Véase mostrar incertidumbre.
3. Da una vía de verificación. Fuentes, pasos del razonamiento o un enlace al dato original permiten comprobar sin tener que creer.
4. Diseña para los dos errores. Pregúntate qué pasa cuando la persona confía de más y qué pasa cuando desconfía de más. Un recordatorio de revisión sirve contra lo primero; mostrar que la IA sí acertó en casos previos sirve contra lo segundo, siempre que sea verdad.
5. Mide la conducta. Cuántas respuestas se aceptan sin cambios, cuántas se corrigen, cuántas se descartan. En el experimento anterior, lo que la gente declaraba creer y lo que decidía no siempre iban juntos, así que esas cifras dicen más que una escala de confianza.

Para el caso de fallos, revisa errores de IA y recuperación.

¿Cuándo NO conviene insistir en la calibración?

• Cuando la tarea es de bajo riesgo. Para un borrador de un correo informal, una advertencia constante es más ruido que ayuda.
• Cuando la advertencia se vuelve rutina. Si cada respuesta trae el mismo aviso, la gente lo ignora y pierde valor.
• Cuando el problema es de datos y no de la interfaz. Mostrar confianza sobre un modelo que no tiene buenos datos solo hace visible una mala calidad. Antes de rediseñar, revisa métricas de calidad de una feature de IA.
• Cuando el usuario no puede verificar nada. Si no hay fuentes ni forma de comprobar, mostrar un porcentaje de confianza da una precisión falsa.

Ejemplo

Ejemplo ilustrativo: una herramienta de análisis de facturas que extrae importes de PDF. Cada importe aparece con una marca: verde si el número coincide con la línea de total del documento, amarilla si el total se calculó a partir de partidas, roja si no se encontró y se completó a mano. La persona revisa la amarilla y la roja antes de exportar, y el sistema registra cuántas amarillas se corrigieron después. Con el tiempo, el equipo descubre que las amarillas tienen un error de redondeo en un tipo de factura, y ajusta la regla. La confianza se calibró por tipo de caso, no con un porcentaje general.

Errores comunes

• Mostrar un porcentaje de confianza sin explicar qué significa ni cómo se calculó.
• Usar un tono de seguridad uniforme para todas las respuestas, aunque algunas sean dudosas.
• Diseñar solo para evitar la sobreconfianza, y olvidar la desconfianza que hace abandonar la herramienta.
• Confiar en la encuesta de confianza sin medir qué hace realmente la gente.
• Pensar que una etiqueta de “alta confianza” reemplaza la revisión en acciones de alto impacto.

Fuentes

• Microsoft Research, “Appropriate Reliance research initiative” (definiciones de sobre-dependencia e infra-dependencia): https://www.microsoft.com/en-us/research/articles/appropriate-reliance-research-initiative/
• Li et al., “Understanding the Effects of Miscalibrated AI Confidence on User Trust, Reliance, and Decision Efficacy”, arXiv 2402.07632: https://arxiv.org/html/2402.07632v4