Cómo investigar productos que usan IA: calibrar la confianza y probar los fallos
Investigar un producto con IA exige medir la calibración de confianza y probar fallos con el modelo real. Qué preguntas hacer, cómo medir y a quién reclutar.
¿Qué lo hace diferente?
Tres cosas cambian respecto a un producto con flujo fijo, según la guía de investigación de Koji (una herramienta de research, así que léela como punto de vista de proveedor):
- La salida varía. Dos personas pueden recibir respuestas distintas a la misma pregunta, así que una prueba no reproduce exactamente lo que vio el usuario.
- La experiencia es conversación. Las heurísticas pensadas para pantallas fijas no describen bien un diálogo de pregunta y respuesta.
- «Correcto» depende del contexto. Un mismo error significa cosas distintas para roles distintos, y eso debe quedar explícito antes de medir.
Por eso una prueba de usabilidad clásica puede dar una falsa sensación de solidez. Un flujo puede terminar sin problemas de clics y aun así dejar al usuario con una respuesta equivocada que nunca verificó. La guía People + AI de Google añade que lo que el usuario considera un error está muy ligado a sus expectativas sobre el sistema, así que conviene preguntárselas.
¿Qué es la calibración de confianza?
Es el ajuste entre lo que el usuario confía en el sistema y lo fiable que es el sistema en esa tarea. Google PAIR lo resume así: los usuarios no deberían confiar de forma implícita en todas las circunstancias, sino calibrar su confianza. Hay dos errores opuestos:
| Estado | Qué hace el usuario | Riesgo |
|---|---|---|
| Sobreconfianza | Acepta sugerencias aunque el modelo se equivoque | Errores que pasan sin revisión |
| Desconfianza | Ignora respuestas correctas, o revisa todo | El producto deja de aportar valor |
Un análisis de diseño de Tian Pan describe un patrón típico: al principio los usuarios sobreconfían, la confianza cae de golpe tras un fallo visible y luego se corrigen hacia la desconfianza, incluso en tareas que el modelo resuelve bien. Es un artículo de blog, no un estudio, pero encaja con lo que importa para investigar: medir ese recorrido en el tiempo, no una foto del momento. Para el concepto desde el lado del diseño, mira calibración de confianza.
¿Qué preguntas debe responder el estudio?
Cuatro preguntas ordenan la investigación (las propone Koji):
- Adopción: qué trabajo le encarga el usuario a la IA y qué lo hizo empezar a usarla.
- Calibración: cuándo verifica una respuesta y cuándo la acepta tal cual.
- Tolerancia al fallo: qué tipo de error rompe la confianza y cuántos errores tarda en abandonar.
- Control: cuánto quiere dirigir el resultado y dónde quiere más o menos control.
¿Cómo pruebas los fallos?
Un método práctico:
- Prueba con el modelo real, no con respuestas grabadas. Koji lo dice sin rodeos: no uses simulaciones ni salidas pregrabadas, porque la variación es parte de lo que estás probando.
- Usa tareas reales del flujo, no pedidos genéricos como «prueba la IA», y termina cada tarea con una conversación breve.
- Incluye tareas donde la salida sea incorrecta. Si el modelo real no falla durante la sesión, prepara un escenario en el que falle y comprueba si el usuario lo nota.
- Observa la detección: ¿el usuario nota el error?, ¿cuánto tarda?, ¿qué hace después?
- Repite en varias rondas. La guía de Google PAIR recomienda planear varias rondas de pruebas, porque diseñar explicaciones y señales de confianza es difícil de acertar a la primera.
Cuando el producto ya tiene uso, Koji propone entrevistas de «repetición de fallos»: partes de los registros de producción, localizas un patrón de fallo (un tipo de alucinación, un grupo de rechazos) y entrevistas a quienes lo vivieron. Preguntas útiles: si lo notaron, si afectó su trabajo, si se lo contaron a alguien y si siguen usando la función. Google PAIR añade que algunos errores no los reporta nadie —los «errores de fondo», en los que ni el usuario ni el sistema registran el fallo—, así que hacen falta controles de calidad propios además del feedback.
¿Cómo mides la calibración?
Mide en tres capas, porque la autoevaluación sola no basta:
- Lo que dice el usuario: confianza reportada en escalas breves y preguntas abiertas.
- Lo que hace el usuario: según Koji, qué parte de las salidas acepta tal cual, edita o descarta; con qué frecuencia las contrasta con otra fuente; cuántas salidas malas tolera antes de dejar de usarla; y si vuelve tras un fallo. Tian Pan suma el abandono, la tasa en que se salta la función y el tiempo hasta corregir.
- La relación entre ambas: si la confianza coincide con la precisión del modelo en esa tarea.
Un detalle delicado es mostrar la confianza del modelo. Zhang, Liao y Bellamy (2020) probaron en dos experimentos que las puntuaciones de confianza ayudaron a calibrar la confianza de las personas, pero que mejor calibración no garantizó mejores decisiones. Tian Pan advierte además que las puntuaciones de confianza de los modelos de lenguaje suelen estar mal calibradas, y que mostrarlas así puede empeorar la calibración. Google PAIR sugiere preguntarse si la cifra cambia alguna decisión del usuario, probar distintos formatos (categorías como alta, media o baja, o porcentajes con contexto) y no mostrarla si no aporta.
¿Cómo reclutar para un producto con IA?
Tres criterios importan más que la edad o la ubicación:
- Experiencia previa con herramientas similares: un usuario nuevo de IA reacciona distinto a uno que ya tuvo un error con otro asistente.
- Dominio del problema: quien paga facturas, quien toma decisiones médicas o quien gestiona inventario detecta errores que un público general pasa por alto.
- Diversidad real: Google PAIR recomienda incluir a personas que reflejen a tu audiencia, porque, por ejemplo, la familiaridad con las probabilidades varía mucho.
Si el equipo puede identificarlos en los registros, incluye también a usuarios que ya sufrieron un fallo. Son los que más aportan sobre cómo se recupera la confianza.
¿Cuándo NO conviene este enfoque?
- Cuando el producto todavía no tiene un modelo real que probar: los resultados serían de otra cosa.
- Cuando no sabes qué cuenta como error en el dominio. Defínelo con expertos antes.
- Cuando solo mides satisfacción general: esconde la pérdida de confianza en tareas concretas.
- Cuando el estudio se hace con personas que no usarían el producto de verdad.
Ejemplo
Ejemplo ilustrativo: un equipo diseña un asistente que resume facturas para pequeños negocios. Prueba con el modelo real y prepara tres escenarios donde el total sale mal calculado. Descubre que la mitad de los participantes acepta el resumen sin revisar el total, sobre todo cuando el asistente se muestra muy seguro. El equipo cambia la interfaz para pedir una verificación en las cifras y registra la tasa de corrección en producción durante un mes.
Lo que aprendió: el fallo no estaba en el resumen, sino en cómo la interfaz presentaba la seguridad del modelo.
Errores comunes
- Probar con respuestas simuladas o grabadas.
- Medir solo satisfacción y no la confianza en tareas concretas.
- Mostrar la confianza del modelo sin probar antes cómo la interpretan los usuarios.
- Usar participantes generales para un producto de dominio especializado.
- Dar por resuelta la calibración con una sola sesión.
- Esperar que los usuarios reporten todos los fallos: algunos pasan sin que nadie los note.
Para el siguiente paso, cómo diseñar la recuperación cuando el sistema falla, lee errores de IA y recuperación.
Fuentes
- Koji, User Research for AI Products: A Practical Guide for 2026 (contenido de un proveedor de herramientas)
- Tian Pan, The Trust Calibration Curve: How Users Learn to (Mis)Trust AI (blog)
- Google PAIR, People + AI Guidebook: Explainability + Trust
- Google PAIR, People + AI Guidebook: Errors + Graceful Failure
- Zhang, Liao y Bellamy (2020), Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making (arXiv)