# Tests de usabilidad moderados por IA: qué se gana y qué se pierde > Un test moderado por IA usa un agente que guía la sesión de usabilidad. Un ensayo de CHI 2026 comparó moderadores de IA y humanos. Cuándo conviene y cuándo no. *Tags: ia, research, usabilidad, testing* --- > [!info] Definición Rápida > **Un test moderado por IA** es una prueba de usabilidad en la que un agente de IA guía la sesión: presenta la tarea, hace preguntas de sondeo y pide que la persona piense en voz alta. El moderador no es una persona, pero la prueba sigue necesitando diseño, criterio y revisión. ## ¿Qué hace un moderador de IA? En una prueba moderada tradicional, un investigador lee la tarea, observa la pantalla, interrumpe cuando hace falta y repregunta. Un moderador de IA cubre algunas de esas funciones: da las instrucciones, pregunta "¿qué esperabas que pasara?" cuando alguien se detiene y registra lo que dice la persona. La guía de Great Question describe estas entrevistas como sesiones cualitativas en las que un agente de IA conduce la conversación de principio a fin y decide las repreguntas según lo que responde el participante. La diferencia clave está en lo que el agente observa. Si solo escucha, pierde lo que el usuario hace en pantalla. Si la plataforma registra clics, tiempos y navegación, el análisis se parece más al de una prueba tradicional. ## ¿Qué dice la evidencia? Un ensayo aleatorio publicado en CHI 2026 por un equipo de la Universidad Politécnica de Hong Kong comparó un moderador de audio con IA y uno humano en pruebas de pensamiento en voz alta. Participaron 60 personas y la prueba usó una app de notas. Antes de la prueba, el equipo entrevistó a nueve expertos en UX para diseñar el moderador. Según sus autores, no hubo diferencias significativas en el desempeño de las tareas ni en las verbalizaciones. Los moderadores de IA, en cambio, recibieron valoraciones sociales más bajas. Ese resultado tiene dos lecturas útiles para un diseñador. La primera: en una tarea acotada, como usar una app de notas, un moderador de IA puede sostener la sesión. La segunda: la experiencia de la persona cambia, y eso importa si la sesión toca un tema delicado o si necesitas que el participante confíe en quien escucha. Es un solo estudio, con una app y una muestra pequeña: no lo trates como regla general. Los trabajos previos fueron más cautos: - En su resumen de diciembre de 2024 en UX Tigers, Jakob Nielsen comenta un estudio de Kurica, Demcak y Krajcovic con 60 participantes en un sitio de comercio electrónico. Tras cada tarea, GPT-4 generaba de una a tres preguntas de seguimiento. Las tareas iban en un orden fijo y la IA no veía cómo interactuaban las personas con el prototipo: solo analizaba sus comentarios. No hubo diferencias significativas en la cantidad de problemas de usabilidad detectados, y las preguntas de la IA aportaron algo de información extra, pero pocas veces de más profundidad. - Una tesis de la Universidad de Gotemburgo probó GPT-4o como moderador con el protocolo de pensamiento en voz alta relajado, en nueve sesiones sobre un sitio de comercio electrónico. El modelo mantuvo a los participantes verbalizando en los tres niveles analizados gracias a preguntas no inductivas, pero a veces cayó en un lenguaje directivo o excesivamente afirmativo. ## ¿Cuándo tiene sentido? - Cuando tienes muchas sesiones y poco tiempo para moderarlas todas. - Cuando la tarea está bien definida y las preguntas siguen un guion claro. - Cuando el tema tiene bajo riesgo emocional: compras, configuración de ajustes, navegación. - Cuando quieres una primera ronda para detectar problemas gruesos antes de una prueba moderada por una persona. Great Question propone justo ese enfoque híbrido: IA para la amplitud y un investigador donde hace falta matiz. ## ¿Cómo lo validas antes de confiar? Un flujo de validación corto: 1. Corre dos pruebas piloto sobre la misma tarea, una con un moderador humano y otra con el de IA. 2. Compara tres cosas: si las personas completan la tarea, cuántos comentarios dan y cómo describen la experiencia. 3. Revisa las transcripciones buscando respuestas del moderador que sugieran la solución, porque eso contamina el hallazgo. 4. Mira las grabaciones de pantalla, no solo el audio. 5. Decide el alcance: qué tareas pasa el moderador de IA y cuáles siguen siendo humanas. Un error común es validar solo con la transcripción. Si la persona hizo clic en el botón equivocado y no lo dijo, la transcripción no lo registra. ## ¿Cuándo NO conviene? - Para temas de salud, finanzas, duelo o cualquier situación emocional delicada. La guía de Great Question dice que los temas sensibles, las conversaciones de alto riesgo y la investigación genuinamente exploratoria siguen beneficiándose de un humano. - Para flujos nuevos donde no sabes qué preguntar: un moderador humano improvisa mejor. - Para estudios de accesibilidad con participantes que usan lectores de pantalla o comunicación alternativa, salvo que hayas validado la plataforma con esas personas. - Cuando el objetivo es observar el lenguaje no verbal o la frustración silenciosa. ## Ejemplo Ejemplo ilustrativo: un equipo quiere probar un nuevo flujo de cambio de contraseña con cuarenta personas. Usa un moderador de IA con grabación de pantalla y una tarea escrita. Descubre que el 30 % de los participantes se detiene en el mismo paso, sin que el moderador haya pedido ayuda. Con esa señal, el equipo hace seis sesiones moderadas por personas y confirma que el problema es el texto del error, no el paso en sí. Lo que aprendió: la IA sirvió para encontrar dónde mirar. La explicación la dio el moderador humano. ## ¿Cómo escribir las instrucciones del moderador de IA? El moderador hace lo que las instrucciones le permiten. Un prompt de moderación debe incluir: - **El objetivo de la prueba**, no la solución: "entender si la persona encuentra el botón de exportar", no "probar el nuevo botón". - **La tarea**, escrita como la diría una persona real: "Quiere enviar el informe a su jefa. ¿Qué haría?". - **Reglas de intervención**: cuándo puede preguntar, cuántas veces y con qué frases. Por ejemplo, tras 60 segundos sin avance puede preguntar "¿qué estás pensando?", pero nunca indicar dónde está el botón. - **Lo que no debe decir**: juicios sobre la respuesta, elogios que confirmen una hipótesis ("muy bien, lo encontraste") y pistas sobre la interfaz. La tesis de Gotemburgo muestra por qué: el modelo a veces se volvió directivo o demasiado afirmativo. - **Cierre**: una pregunta de experiencia general al final y un agradecimiento neutral. Prueba las instrucciones en una sesión tuya antes de la primera prueba real. Si el moderador ayuda demasiado en esa sesión, ajusta las reglas antes de gastar participantes. ## Errores comunes - Usar un moderador de IA para temas delicados sin validarlo. - Validar solo con la transcripción, sin ver lo que hizo la persona. - Dejar que el moderador sugiera la solución en sus preguntas de sondeo. - Reportar el tamaño de muestra sin decir cuántas personas completaron la tarea. - Confundir "más sesiones" con "mejor evidencia" si las preguntas están sesgadas. - Generalizar el resultado de CHI 2026 (una app de notas, 60 personas) a cualquier producto. ## Fuentes - [Agentic Audio Moderator vs Human Moderator in Think-Aloud Usability Testing: Results from a Randomized Controlled Trial (CHI 2026, Universidad Politécnica de Hong Kong)](https://research.polyu.edu.hk/en/publications/agentic-audio-moderator-vs-human-moderator-in-think-aloud-usabili/) - [Exploring Moderation Consistency and Relaxed Think-Aloud in AI-Moderated Usability Studies (Universidad de Gotemburgo)](https://gupea.ub.gu.se/items/27f6fad9-b0ef-4af5-b90d-b864ba48c7ee) - [UX Roundup, 11 de diciembre de 2024 (Jakob Nielsen, UX Tigers)](https://www.uxtigers.com/post/ux-roundup-20241211) - [AI-moderated interviews: the complete guide (Great Question)](https://www.greatquestion.com/ux-research/ai-moderated-interviews-guide) --- Source: https://www.fernandoux.com/es/wiki/ia/tests-moderados-por-ia/