Resúmenes automáticos con IA: cómo diseñar para que se puedan verificar

Los resúmenes de IA pueden omitir o inventar. Qué dicen los estudios y cómo diseñarlos para que muestren su fuente, se editen y se puedan verificar.

info Definición Rápida
Un resumen automático con IA es un texto breve que un modelo genera a partir de un documento largo, una reunión o una conversación. Su valor está en ahorrar lectura; su riesgo, en que la persona lo dé por bueno sin comprobarlo.

¿Qué problema resuelve y qué problema crea?

El resumen resuelve algo muy concreto: una persona tiene veinte páginas, una hora de reunión o cien mensajes, y necesita entender lo esencial en dos minutos. Un buen resumen le da el mapa antes del territorio.

El problema es que un resumen reemplaza al original en la cabeza del lector. Puede omitir un detalle que, para esa persona, era el más importante: una fecha, una cláusula, un compromiso. Y puede afirmar algo que no estaba en el texto. Un resumen equivocado pero bien redactado es más peligroso que uno torpe, porque parece confiable.

Esto conecta con las alucinaciones: el modelo no avisa cuándo está inventando. El diseño tiene que compensar esa limitación. Este artículo se centra en el caso concreto del resumen; para la síntesis de varias entrevistas de investigación, mira síntesis de entrevistas con IA.

¿Qué tan fieles son los resúmenes que hace un modelo?

No siempre lo son, y la evidencia viene de tres frentes distintos:

  • Investigación en procesamiento de lenguaje. Maynez et al. (ACL 2020) evaluaron con anotadores humanos varios sistemas neuronales de resumen y encontraron, en sus palabras, “cantidades sustanciales de contenido alucinado en todos los resúmenes generados por los modelos”. Eran modelos anteriores a los actuales, pero el hallazgo sigue siendo la razón de que se estudie la fidelidad al texto original.
  • Una prueba en el sector público. En una prueba de concepto de enero y febrero de 2024, AWS probó para el regulador financiero australiano ASIC el modelo Llama2-70B resumiendo escritos públicos enviados a una consulta parlamentaria. Cinco evaluadores que no sabían qué resúmenes eran de IA puntuaron los de personas con 61 de 75 (81%) y los del modelo con 35 de 75 (47%). Señalaron información incorrecta, puntos clave omitidos y elecciones extrañas sobre qué destacar. Hay salvedades: fue un solo modelo, con una semana de ajuste de prompts, y AWS aclaró que los resultados no reflejan necesariamente a otros modelos. ASIC concluyó que la IA debe verse como herramienta para apoyar el trabajo humano, no para reemplazarlo.
  • Un producto real. En enero de 2025, Apple desactivó en iOS 18.3 los resúmenes de notificaciones de apps de noticias y entretenimiento tras quejas de la BBC por titulares resumidos de forma inexacta. Los resúmenes que siguieron activos pasaron a mostrarse en cursiva, y al activar la función en Ajustes apareció un aviso de que estaba en beta y podía cometer errores.

La lección para diseño no es “los modelos resumen mal”, sino que cualquier producto de resúmenes debe asumir que algún resumen saldrá mal y dar al usuario una manera de notarlo.

¿Qué dicen los estudios sobre cómo leen las personas?

El trabajo de Cheng et al. (NAACL 2022) revisó 70 artículos, definió cinco tipos de interacción humano-IA en la generación de texto, construyó prototipos de resumen para cada uno y entrevistó a 16 usuarios. Es un estudio exploratorio con pocas personas, pero deja ideas útiles:

  • Algunos participantes veían el resumen de la IA como una “autoridad” y dudaban en editarlo ("¿debería cuestionar lo que la IA cree importante?"). Otros temían no poder juzgar el resultado en temas que no conocían.
  • Querían información sobre cómo se había generado el resumen y poder corregirlo.
  • El nivel de control deseado dependía de lo que estaba en juego: más control para un texto serio, como un proyecto de ley, y más tolerancia para algo informal.

Un estudio más reciente, Traceable Text (Kambhamettu, Flores y Head, Universidad de Pensilvania), probó un sistema que enlaza cada frase del resumen con el pasaje de origen. Participaron 21 personas (una no terminó y quedó fuera del análisis cuantitativo) y el material eran notas médicas de seguimiento. Cuando el resumen contenía alucinaciones, la proporción de respuestas correctas pasó de 12.5% sin enlaces a 70% con enlaces, y en esas tareas se tardó menos (1.8 minutos frente a 2.9). Con resúmenes correctos la mejora fue de 75% a 90%, y los autores la describen como modesta y no significativa estadísticamente.

También advierten un riesgo: un enlace equivocado puede llevar al lector a sobrestimar la veracidad de una afirmación. En una revisión de 10 textos, 129 de 159 enlaces eran totalmente correctos, 18 tenían problemas semánticos y 12 eran incorrectos. El enlace no es una garantía, es una herramienta de verificación, y hay que diseñarlo así.

¿Qué debe tener un resumen bien diseñado?

Cinco elementos que se desprenden de los estudios anteriores (son recomendaciones de diseño, no una lista que aparezca tal cual en un solo trabajo):

  1. Fuente por afirmación. Cada frase o punto debe poder llevar a su pasaje original con un gesto simple: pasar el cursor, tocar o expandir.
  2. Edición en el lugar. Si el resumen omite algo o se equivoca, la persona debe poder corregirlo sin rehacerlo desde cero, y la versión corregida debe quedar marcada.
  3. Control de enfoque y longitud. Permitir pedir un resumen para otra audiencia o propósito: para decidir, para compartir, para estudiar.
  4. Señal de origen. Dejar claro que el texto es generado. Apple optó por la cursiva en sus resúmenes de notificaciones y por un aviso de beta en Ajustes.
  5. Acceso al original en un clic. El resumen debe invitar a leer la fuente, no reemplazarla.

Para la parte de citas, mira citas y fuentes. Y si el resumen puede tener partes inciertas, mostrar incertidumbre explica cómo señalarlas.

¿Cuándo NO conviene resumir con IA?

  • Cuando el detalle exacto es lo que importa. Contratos, dosis de medicamentos, cifras financieras: un resumen puede borrar el dato que necesitas.
  • Cuando el texto es corto. Si leer el original toma menos tiempo que revisar el resumen, el resumen no ahorra nada.
  • Cuando nadie puede verificar. Si la persona no tiene forma de comprobar el resumen, la IA se vuelve autoridad sin contrapeso.
  • Cuando el resumen reemplaza una decisión humana. Un resumen de reunión que registra compromisos sin que nadie los confirme puede crear obligaciones que nadie aceptó.

Ejemplo

Ejemplo ilustrativo: una herramienta de resúmenes de reuniones. Al terminar una llamada, el resumen aparece con tres decisiones y dos pendientes. Cada decisión tiene un icono de cita: al pasar el cursor se resalta el fragmento de la transcripción de donde salió. Una de las decisiones dice “entregar el prototipo el viernes”, pero el enlace lleva a una frase donde alguien dice “quizá el viernes”. La persona edita la afirmación a “quizá” y la herramienta marca el cambio. Sin el enlace, el compromiso habría llegado al equipo como firme.

Errores comunes

  • Mostrar el resumen como texto final, sin ninguna forma de llegar al original.
  • Presentar el resumen con el mismo tono de seguridad aunque la fuente sea ambigua.
  • Hacer que el enlace a la fuente parezca una prueba de exactitud, cuando solo es una pista para verificar.
  • Esconder la edición: si alguien corrige el resumen, el cambio debe quedar visible para quien lo lea después.
  • Diseñar un solo tamaño de resumen para todos los casos, sin dejar elegir longitud ni enfoque.
  • Probar el resumen solo con textos fáciles. Hay que probarlo también con documentos largos, técnicos o ambiguos, que es donde más se nota que omite o inventa.

Fuentes

Preguntas frecuentes

¿Qué es un resumen automático con IA?
Es un texto corto que un modelo genera a partir de documentos, reuniones o conversaciones largas para que la persona lo lea en lugar del original completo.
¿Por qué un resumen de IA puede ser peligroso?
Puede omitir un detalle crítico o afirmar algo que el original no dice, y quien lo lee puede dejar de revisar el original. En entrevistas con 16 usuarios, algunos veían el resumen como una autoridad y dudaban en corregirlo.
¿Cómo ayuda mostrar la fuente de cada frase de un resumen?
Permite comprobar cada afirmación contra el texto original. En un estudio con 21 participantes y notas médicas, vincular frases con sus fuentes subió los aciertos ante contenido alucinado de 12.5% a 70%. Aun así, un enlace puede estar mal.
¿Qué debe permitir un resumen bien diseñado?
Ver de dónde sale cada afirmación, editar el resumen, ajustar su longitud o enfoque y llegar al original con un clic.
¿Cuándo no conviene resumir con IA?
Cuando el detalle exacto es lo que importa (contratos, dosis, cifras), cuando el texto es corto o cuando nadie puede comprobar el resumen contra el original.