Análisis de encuestas con IA: preguntas abiertas, codificación y límites

¿Qué parte de una encuesta analiza la IA?

Las encuestas tienen dos tipos de datos. Las respuestas cerradas, como una escala del 1 al 5 o una opción múltiple, ya vienen codificadas y no necesitan IA; se cuentan en una hoja de cálculo. Las respuestas abiertas, como “¿por qué respondiste así?”, son texto y requieren lectura. Ahí es donde la IA aporta.

Codificar significa asignar cada respuesta a una categoría de una lista definida de antemano, el marco de códigos (en inglés, codeframe). El caso típico: doscientas respuestas abiertas sobre por qué un usuario abandonó un flujo. Leerlas todas toma horas. Un modelo puede asignarles categorías en minutos, pero el resultado hay que revisarlo. Para entrevistas, que se sintetizan de otra manera, mira síntesis de entrevistas con IA y affinity mapping con IA.

¿Qué dice la evidencia?

Un estudio de von der Heyde, Haensch, Weiß y Daikeler (preprint de arXiv de junio de 2025, aceptado en Survey Research Methods) probó esto con una muestra aleatoria de 5.072 respuestas del panel GESIS, en alemán, a una pregunta sobre por qué la gente participa en el panel. Dos investigadores humanos las codificaron de forma independiente con 22 categorías (kappa de Cohen de 0,91 entre ambas; el kappa mide cuánto coinciden dos codificadores más allá del azar). Compararon GPT-4o, Llama 3.2 3B y Mistral NeMo, con instrucciones sin ejemplos, con ejemplos y con ajuste fino (fine-tuning).

Lo que encontraron:

• El rendimiento varía mucho entre modelos. GPT-4o fue el mejor, con una medida F1 macro (que promedia el acierto de todas las categorías; 1 es perfecto) de alrededor de 0,7 con los tres enfoques sin ajuste fino. Solo el GPT-4o con ajuste fino llegó a un nivel que los autores consideran satisfactorio: 0,87.
• Las categorías frecuentes salen bien. En incentivos, interés y diversión, la F1 rondó 0,9.
• Las categorías residuales salen mal. Para “sin motivo” (incluye “no sé”, rellenos como “???” y respuestas en blanco), “no identificable/otros” y otras características de la encuesta, la F1 estuvo entre 0,02 y 0,3. Los modelos solían tratar esas respuestas como si no hubiera respuesta: con GPT-4o, más del 60 % de las de “sin motivo” quedaron sin clasificar.
• La distribución final cambia. Como cada categoría acierta distinto, el reparto de porcentajes del modelo sin ajuste fino se parece poco al humano.

Hay límites que conviene leer con cuidado. Es un solo idioma, una sola pregunta y modelos de 2024; los modelos de hoy pueden rendir mejor, así que sirve como advertencia de qué vigilar, no como cifra para tu caso. Y el ajuste fino, que fue lo que funcionó, exige un conjunto grande de respuestas codificadas por humanos y más recursos, así que los autores concluyen que todavía no es una alternativa barata. También avisan de que fijar la temperatura en cero y una semilla no garantizó resultados idénticos en todos los modelos.

Otro preprint de arXiv (diciembre de 2025) propone repetir el análisis temático con varios modelos y medir con kappa de Cohen cuánto coinciden las pasadas entre sí. En su prueba de concepto, con una sola transcripción de entrevista y seis pasadas por modelo, obtuvo kappas de 0,84 a 0,91. Sirve para detectar inestabilidad, pero coincidir consigo mismo no es acertar: sigue haciendo falta una muestra codificada por personas.

¿Cómo se aplica con validación?

Un flujo para una encuesta de cientos de respuestas:

1. Define el marco de códigos antes de usar la IA: cada categoría con una definición y un ejemplo.
2. Crea categorías residuales explícitas: “otro”, “no sé” y “en blanco”, para que el modelo no las deje sin asignar.
3. Pide la codificación con el marco, las definiciones y un ejemplo por categoría. Pide una sola categoría por respuesta, como en el estudio.
4. Codifica a mano una muestra (por ejemplo, 50 a 100 respuestas, un tamaño orientativo) sin mirar el resultado de la IA.
5. Mide el acuerdo por categoría, no solo el total. Un acuerdo global alto puede esconder una categoría que falla.
6. Ajusta y repite en las categorías que fallaron. Cambia el orden de las categorías en el prompt y comprueba que el conteo no se mueva: los autores del estudio alemán aleatorizaron ese orden en cada consulta para evitar sesgos de orden.
7. Reporta el método, el modelo y las limitaciones (ver más abajo).

¿Cuándo ahorra tiempo de verdad?

El esfuerzo de preparar el marco de códigos y de validar una muestra es casi fijo, y el ahorro crece con el volumen. Con varios cientos de respuestas y categorías claras, la IA más una muestra de validación suele costar menos que leer todo. Con cuarenta respuestas, el esfuerzo fijo se come el ahorro, y leerlas directamente es más rápido y más fiable.

¿Cómo reportar resultados de una encuesta con IA?

Un informe que usó IA para codificar debe permitir que otra persona entienda qué hiciste y pueda repetirlo. Incluye:

• Número de respuestas válidas, en blanco y de “no sé”, por separado.
• Marco de códigos completo, con la definición y un ejemplo por categoría.
• Modelo, versión y fecha de la codificación, y si hubo ajuste o solo instrucciones.
• Resultado de la validación: cuántas respuestas revisaste a mano y el acuerdo por categoría.
• Limitaciones: qué categorías tienen acuerdo bajo y cómo las tratas en las conclusiones.

Presenta los porcentajes junto con el número absoluto: con 40 respuestas, un 25 % son diez personas, y decir solo “una cuarta parte” oculta lo pequeña que es la base. Si una categoría tiene acuerdo bajo, no la elimines del informe: márcala como incierta.

¿Qué no conviene delegar?

• Las conclusiones sobre qué significan los resultados para el negocio.
• El análisis de encuestas con muy pocas respuestas: léelas todas.
• Respuestas sensibles o de personas en situación de vulnerabilidad, sin revisión humana ni una decisión consciente sobre dónde se procesan los datos.
• Encuestas en idiomas o contextos donde no sabes cómo se comporta el modelo: valídalo primero.

Ejemplo

Ejemplo ilustrativo: una diseñadora recibe 300 respuestas abiertas sobre por qué los usuarios no completaron la solicitud de un crédito. Define diez categorías más “otro” y “no sé”, con definición y ejemplo. La IA codifica todo. Ella codifica a mano 80 respuestas sin mirar el resultado y descubre que el modelo confunde “requisitos confusos” con “tardanza en la respuesta”. Ajusta esas dos definiciones, vuelve a codificar y el acuerdo en esas categorías sube. En el informe pone el número de respuestas y el acuerdo de cada categoría.

Errores comunes

• Dejar que la IA invente categorías sin un marco previo.
• No crear categorías para “no sé” y respuestas en blanco, o no revisar cómo las trató el modelo.
• Confiar en el acuerdo global sin mirar cada categoría.
• Validar con la misma persona que escribió el prompt, sin una segunda mirada.
• Reportar porcentajes por categoría sin el número de respuestas y el método.
• Usar la IA para una encuesta pequeña donde leer era más rápido.

Fuentes

• von der Heyde, Haensch, Weiß y Daikeler, AIn’t Nothing But a Survey? Using LLMs for Coding German Open-Ended Survey Responses on Survey Motivation (arXiv 2506.14634)
• Jain, Adeyinka, Roseman y Allsop, Multi-LLM Thematic Analysis with Dual Reliability Metrics (arXiv 2512.20352)