Investigación generativa vs. evaluativa: cuándo explorar y cuándo validar
La generativa descubre qué problema vale la pena resolver; la evaluativa comprueba si una solución funciona. Diferencias, métodos y cuándo usar cada una.
¿Qué es cada una?
La investigación generativa sirve para descubrir. Cuando el equipo sabe que una métrica va mal pero no sabe por qué, o cuando quiere entrar en un mercado nuevo, necesita entender motivaciones, contextos y necesidades antes de proponer nada. Según UserTesting, suele usar métodos cualitativos para entender las necesidades y motivaciones de los usuarios.
La investigación evaluativa sirve para comprobar. Cuando ya existe un concepto, un boceto, un prototipo o un producto, el equipo quiere saber si funciona y qué debe mejorar. UserTesting la describe como un enfoque que suele usar métodos cuantitativos para evaluar el éxito o el fracaso de un producto o una función.
Hay un matiz importante: en la práctica, la frontera no es tan limpia. UserTesting mismo aclara que, en la evaluativa, los investigadores también pueden usar métodos cualitativos. Las pruebas de usabilidad, que son evaluativas, pueden ser cualitativas. Las entrevistas, que son generativas, pueden incluir preguntas cerradas. Lo que separa ambas es la pregunta que el estudio intenta responder, no solo el método.
¿Por qué le importa a un diseñador?
Porque evita dos errores frecuentes. El primero es evaluar algo que nadie necesitaba: un equipo prueba una pantalla impecable de una función que los usuarios no pidieron. El segundo es explorar sin fin cuando ya hay material suficiente para diseñar y probar.
También ayuda a dar forma al proceso. La generativa alimenta las decisiones de producto y la evaluativa valida el trabajo de diseño. Un equipo que sabe en qué fase está puede decir qué investigación necesita sin discutir cada semana.
¿Qué métodos usa cada una?
NN/g, en su artículo de Christian Rohrer, clasifica los métodos según la fase del producto. No usa la palabra “evaluativa”: llama generativos a los métodos de la fase de estrategia, formativos a los de diseño (informan cómo mejorar el diseño) y sumativos a los de lanzamiento y evaluación. La investigación evaluativa abarca las dos últimas. Estos son los métodos que NN/g lista en cada fase:
| Fase | Métodos típicos | Pregunta que responde |
|---|---|---|
| Estrategia (generativa) | Estudios de campo, diarios, entrevistas, encuestas, diseño participativo, concept testing | ¿Qué problema tienen las personas y cuál es su contexto? |
| Diseño (formativa) | Card sorting, tree testing, pruebas de usabilidad, pruebas remotas | ¿Esta propuesta se entiende y funciona? |
| Lanzamiento y evaluación (sumativa) | Benchmarking de usabilidad, pruebas no moderadas, pruebas A/B, analítica, encuestas | ¿Cómo se comporta el producto frente a versiones anteriores o competidores? |
NN/g advierte que estas clasificaciones son orientaciones generales, no categorías rígidas, y que conceptos como el concept testing, los estudios de deseabilidad y el card sorting tienen versiones cualitativas y cuantitativas. El card sorting, por ejemplo, puede explorar cómo piensa la gente sobre la información o validar una arquitectura propuesta.
Para la parte generativa, las entrevistas de usuario y los diarios de estudio son las herramientas más directas. Para la parte evaluativa, las pruebas de usabilidad y las pruebas A/B cubren la mayoría de los casos.
¿Cuándo usar cada una?
La regla más útil es esta: usa la generativa cuando el problema no está claro, y la evaluativa cuando hay algo concreto que probar. NN/g ubica los métodos generativos al inicio del proyecto, para definir la dirección, y los formativos una vez elegida esa dirección.
Un patrón que funciona es alternarlas. Empiezas con entrevistas para entender un problema, propones tres formas de resolverlo, pruebas las tres con usuarios, eliges una y mides después del lanzamiento. Cada etapa responde una pregunta distinta, y la anterior alimenta la siguiente.
Sobre cuántos participantes: para un estudio cualitativo de usabilidad con un solo grupo de usuarios, NN/g recomienda cinco para descubrir la mayoría de los problemas más comunes. El número cambia según el tipo de estudio, y las pruebas cuantitativas se usan sobre todo para obtener benchmarks, con otro método y otra muestra. No mezcles ambos objetivos en el mismo estudio sin reconocerlo.
Ejemplo
Ejemplo ilustrativo: una empresa de planificación de viajes ve que la mitad de sus usuarios abandona al elegir fechas. Primero hace investigación generativa: entrevistas con diez personas que planifican viajes familiares y un diario de dos semanas con cinco de ellas. Descubren que el problema no son las fechas sino la incertidumbre sobre el precio final. Con eso, proponen tres prototipos: mostrar un rango de precio, mostrar el precio por noche o mostrar un calendario con colores. Luego hacen investigación evaluativa con los tres prototipos y, tras elegir el de rango de precio, miden el abandono con pruebas A/B en producción.
Para tu próximo proyecto: escribe en una frase qué no sabes todavía. Si la frase empieza con “por qué”, necesitas investigación generativa. Si empieza con “si esto funciona”, necesitas evaluativa.
¿Cuándo NO conviene?
- Cuando la decisión ya está tomada y el estudio solo sirve para justificarla.
- Cuando no hay nada que evaluar. Probar sin un prototipo, un concepto o un producto deja al equipo sin material.
- Cuando la evaluativa se usa para descubrir. Un test de usabilidad no te dice qué problema vale la pena resolver.
- Cuando la muestra no corresponde al objetivo. Cinco personas no bastan para medir una tasa de conversión.
Errores comunes
- Evaluar sin haber explorado el problema.
- Explorar sin fin cuando el equipo ya tiene material para diseñar.
- Confundir muestra cualitativa con cuantitativa, y sacar conclusiones de porcentajes con cinco personas.
- Creer que los métodos definen el tipo de investigación. Lo que define el tipo es la pregunta.
- No documentar la fase del estudio, lo que impide comparar resultados después.
- Usar A/B tests para decidir la dirección del producto, cuando solo sirven para comparar dos opciones concretas.