Modelos multimodales: texto, imagen, audio y video
Un modelo multimodal procesa más de un tipo de dato, como texto e imágenes, en una petición. Qué puede hacer, cómo diseñar sus entradas y dónde falla.
¿Qué es un modelo multimodal?
La mayoría de los LLM empezaron con texto. Un modelo multimodal amplía la entrada: convierte cada modalidad en una representación que el modelo puede combinar con el resto. En una imagen, esa representación se parece a los tokens de texto, pero viene de otra fuente. El modelo no ve píxeles directamente, sino una codificación de ellos.
Integrar varios tipos de datos es un campo amplio del aprendizaje profundo. Una revisión académica de 2024 (Li y Tang) lo plantea como dos problemas ligados. La alineación consiste en emparejar las modalidades para poder combinarlas, por ejemplo saber qué zona de una imagen describe una frase. La fusión consiste en unir la información de varias modalidades en una sola representación. Sin buena alineación, la fusión puede producir lecturas erróneas o perder información.
Audio y video funcionan distinto según el producto. Algunos modelos reciben el audio directamente; otros dependen de una transcripción previa (ver transcripción con IA) o de fotogramas extraídos del video. La diferencia importa: con una transcripción se pierden el tono, las pausas y quién habló. Antes de diseñar, confirma en la documentación del modelo qué modalidades recibe de verdad y cuáles se convierten a texto por el camino.
Un antecedente útil para entender las imágenes es CLIP, presentado por OpenAI en 2021. Se entrenó con unos 400 millones de pares de imagen y texto de internet, con la tarea de predecir qué descripción corresponde a cada imagen. Los autores afirman que, después del entrenamiento, el modelo puede clasificar imágenes con lenguaje natural sin ejemplos específicos de cada categoría.
¿Por qué le importa a un diseñador?
Porque la multimodalidad cambia la forma de la entrada que el usuario puede dar:
- Capturas como consulta. Un usuario puede pegar una pantalla con un error y preguntar qué pasa. Eso reduce la fricción de describir el problema con palabras.
- Bocetos y fotos. Un diseñador puede subir un boceto y pedir una lista de componentes. Pero el resultado depende de la claridad del boceto.
- Nuevos modos de error. El modelo puede leer mal un texto pequeño, contar mal objetos o ignorar algo en un costado de la imagen. La interfaz tiene que permitir corregir la lectura.
- Privacidad. Una imagen puede contener datos personales que el usuario no notó. Antes de enviarla, conviene mostrar qué se va a procesar.
¿Dónde fallan hoy?
La documentación de visión de Anthropic es explícita sobre los límites de Claude. Sirve de guía aunque uses otro modelo, y conviene leer la sección de limitaciones de cada proveedor, como la de la guía de imágenes de OpenAI:
| Situación | Qué advierte la documentación | Qué hacer en la interfaz |
|---|---|---|
| Imágenes de baja calidad, rotadas o de menos de 200 píxeles | El modelo puede alucinar o equivocarse | Avisar si la imagen es pequeña o está girada y pedir otra |
| Relaciones espaciales | El razonamiento espacial es limitado | No basar decisiones de layout en “está a la izquierda de” |
| Conteo | Las cantidades pueden ser aproximadas | Mostrar el número como estimación |
| Imágenes generadas por IA | No sabe si una imagen fue generada por IA | No usarlo como detector |
| Escaneos de diagnóstico médico | No está pensado para interpretarlos | Bloquear o advertir ese uso |
Una lectura equivocada dicha con seguridad es una alucinación visual, y se diseña igual que las de texto: mostrar la evidencia y permitir corregir. Para decidir cuánta confianza transmitir, mira cómo mostrar incertidumbre. Estos límites cambian con cada versión del modelo, así que no sustituyen tus propias pruebas.
¿Cuándo NO conviene?
Cuando el texto basta. Describir una imagen con IA para algo que una persona puede escribir en diez segundos agrega costo y latencia. Tampoco conviene para tareas que exigen medición precisa, como dimensiones exactas de un elemento en una captura; ahí una herramienta de medición es más confiable.
También conviene desconfiar cuando la imagen es de baja calidad o contiene mucho texto. El modelo puede responder con seguridad sobre algo que no leyó bien.
¿Cómo se diseña la entrada?
Algunas decisiones concretas:
- Permite subir imágenes y también describir lo que se quiere, porque la combinación suele dar mejores resultados que cada una por separado.
- Muestra la imagen tal como la vio el modelo, con las zonas que se usaron si es posible.
- Ofrece un campo para corregir la lectura antes de confiar en la respuesta.
- Limita el tamaño y el formato de archivo y explica el motivo cuando se rechaza algo.
- Avisa antes de enviar si la imagen puede contener datos personales; el tema se desarrolla en privacidad en productos de IA.
- Si la imagen alimenta una descripción para accesibilidad, revisa el resultado a mano; ver texto alternativo con IA.
Para una mirada más amplia sobre cómo el modelo usa lo que recibe, revisa la ventana de contexto, porque las imágenes también ocupan espacio dentro de ella.
Cómo probarlo antes de lanzarlo
- Reúne imágenes reales de tus usuarios, no solo las limpias: capturas borrosas, fotos torcidas, pantallas con texto gris.
- Escribe de antemano la respuesta correcta para cada una.
- Compara la respuesta del modelo con la esperada y anota qué tipo de error aparece: texto mal leído, conteo, posición u omisión.
- Repite la prueba cuando cambies de modelo o de versión, porque los resultados no se heredan.
Ejemplo
Ejemplo ilustrativo: un equipo de QA sube una captura de una pantalla de checkout y pregunta por qué el botón “Pagar” aparece deshabilitado. El modelo identifica que el campo de código postal está vacío y lo dice. Pero en otra captura, con un texto gris de bajo contraste, confunde un mensaje de error con un aviso informativo. El equipo agrega una vista donde el usuario ve el texto que el modelo extrajo y puede corregirlo antes de que la respuesta se use para decidir un cambio de diseño.
Errores comunes
- Asumir que todo lo que el modelo describe de una imagen es correcto.
- Subir imágenes con datos personales sin avisar al usuario.
- Esperar medidas exactas de una imagen.
- Usar multimodalidad para tareas que se resuelven mejor con texto estructurado.
- Probar solo con imágenes limpias y de alta resolución.