Agentes de voz: latencia, turnos y cómo diseñar la conversación
Un agente de voz es una IA que conversa por audio y ejecuta acciones. Su diseño depende de la latencia, del fin de turno y de cómo maneja las interrupciones.
¿Qué pasa en cada turno?
Un turno de voz atraviesa varias etapas: la red transmite el audio, un modelo de reconocimiento de voz lo convierte en texto, un LLM genera la respuesta, y un sistema de síntesis la vuelve a voz. Cada etapa suma tiempo. Una guía de Future AGI de 2026 que desglosa el presupuesto ubica la red en 30 a 50 milisegundos, el primer texto del reconocimiento en 100 a 150, el primer token del modelo en 200 a 300 y el primer audio de la síntesis en 80 a 150. La suma explica por qué el objetivo es difícil.
Para entender por qué el primer token pesa tanto, revisa latencia y tokens por segundo.
¿Qué latencia es aceptable?
Las cifras vienen de proveedores de voz, así que son orientaciones y no normas:
- Una guía de Future AGI apunta a un promedio menor de 350 milisegundos y un percentil 95 de 500 para agentes de ventas y soporte, y advierte que sub-500 no es el objetivo correcto en intake clínico o planeación financiera.
- Una guía de Retell afirma que, por debajo de unos 600 milisegundos de extremo a extremo, quien llama deja de notar que habla con una IA. Es una afirmación del proveedor, sin estudio detrás.
- Una guía de Acquaintsoft propone menos de 700 milisegundos y dice que pasar de 800 o 900 empieza a sentirse como una mala línea.
Lo útil no es el número exacto, sino la prueba: si el silencio entre turnos se nota en la conversación real, la latencia es demasiado alta para ese caso.
¿Cómo se diseña el turno y qué es el barge-in?
El problema central es saber cuándo el usuario terminó. Si el agente responde demasiado pronto, corta a la persona. Si espera demasiado, aparece un silencio incómodo.
Las APIs de voz en tiempo real exponen este ajuste. La API Realtime de OpenAI, por ejemplo, ofrece dos modos de detección de turno: server_vad, que decide por silencio y permite regular el umbral de volumen y los milisegundos de silencio (silence_duration_ms), y semantic_vad, que usa un clasificador sobre las palabras del usuario para juzgar si terminó y tiene un parámetro eagerness (qué tan pronto responde). Otros proveedores tienen controles equivalentes con otros nombres.
El barge-in es la capacidad de interrumpir al agente mientras habla. Una persona que dice “espera, no era eso” espera que el agente se calle de inmediato. Future AGI describe un flujo de cinco partes: detección de actividad de voz, disparador de interrupción, vaciado del audio pendiente, cancelación de la generación del LLM y conservación del contexto. Propone un presupuesto combinado menor de 150 milisegundos para detectar la interrupción, detener el audio y cancelar el LLM.
Un diseño razonable del turno:
- Confirma las frases largas con una pausa corta antes de responder.
- Permite interrupciones en cualquier momento de la respuesta.
- Si el agente va a tardar, di algo breve: “Déjame revisar eso”.
- Resume al final lo que entendiste, para que la persona pueda corregir.
- Ofrece un camino a una persona si la conversación se traba.
Ejemplo
Ejemplo ilustrativo: un agente de voz de una clínica consulta la disponibilidad para agendar una cita. Al principio, responde en cuanto percibe una pausa de 300 milisegundos, y corta a los pacientes que dicen números con pausas. El equipo sube el umbral de fin de turno, agrega la frase “déjame revisar la agenda” cuando la consulta tarda más de un segundo, y prueba con diez llamadas grabadas. Las interrupciones bajan y el paciente confirma el horario sin repetir. Las cifras son inventadas para ilustrar el método.
¿Cómo probar una conversación de voz?
Graba diez llamadas reales o simuladas con personas distintas: alguien que habla rápido, alguien que se detiene a pensar, alguien con ruido de fondo y alguien que quiere interrumpir a mitad de frase. Para cada una, marca tres momentos: cuándo el agente empezó a responder, si cortó a la persona y cuánto silencio hubo antes de la respuesta. Esa lista vale más que una cifra promedio, porque muestra en qué situaciones falla el diseño del turno.
Repite la prueba después de cada cambio de umbral o de modelo. Un ajuste que mejora la pausa para una persona puede empeorar la interrupción para otra, y solo lo notarás si la prueba cubre casos distintos.
¿Cuándo pasar la llamada a una persona?
Define las condiciones de transferencia antes de lanzar, no durante el incidente. Tres disparadores suelen bastar: la persona pide hablar con alguien, el agente no entiende la intención después de dos intentos, o el tema es sensible, como una queja médica o un cobro disputado. En cualquiera de los tres casos, el agente debe avisar que transfiere, resumir lo que ya se habló para que la persona no repita nada, y pasar el contexto a quien atiende.
Mide cuántas llamadas se transfieren y por qué motivo. Si la mayoría llega por el mismo disparador, ese tema es el candidato a mejorar primero.
Errores comunes
- Medir la latencia solo en el promedio, sin mirar el percentil alto.
- Diseñar el turno sin probar con personas que hablan despacio o con pausas.
- No permitir interrupciones.
- Dejar silencios largos sin ninguna señal de que el agente sigue trabajando.
- Usar voz para información que una persona necesita ver, como una lista larga de horarios.
Cuándo NO conviene la voz
Cuando el contenido es largo, comparativo o debe revisarse, como un contrato o una lista de precios. También cuando el entorno es ruidoso o el usuario no puede hablar. En esos casos, una interfaz de texto o una combinación de voz y pantalla funciona mejor. Para el caso de interfaces de voz con modelos de lenguaje, revisa interfaces de voz con LLMs y IA en el dispositivo.