ROI de features de IA: cómo medir si la función vale lo que cuesta
El ROI de una función de IA se mide por resultado, no por uso: valor generado entre costo total, con costo por tarea completada y una línea base previa.
¿Por qué medir por resultado y no por uso?
El uso es fácil de contar y engañoso. Una función puede tener miles de aperturas y aun así no ahorrar tiempo ni vender más. Lo que importa es si cada resultado vale más que lo que costó producirlo.
Con IA esto pesa más porque el costo es variable. Cada llamada al modelo consume tokens (ver costo por token), así que la factura crece con la actividad, no con el valor. Opslyft propone dejar de mirar el gasto mensual agregado y medir cuatro números por resultado:
| Métrica | Qué responde | Quién la usa |
|---|---|---|
| Costo por llamada | Cuánto cuesta una llamada al modelo, con reintentos e infraestructura | Ingeniería |
| Costo por función | Si la función se paga su gasto de IA | Producto |
| Costo por cliente | Qué cuentas tienen margen negativo | Negocio |
| Margen bruto de IA | Ingreso menos el costo total de IA | Finanzas y dirección |
Una factura alta puede estar bien si sostiene una función que retiene mucho ingreso. Una factura baja puede ser pérdida si casi nadie usa la función.
¿Cómo se construye la línea base?
Antes del lanzamiento, registra tres cosas para el trabajo que la función va a cubrir: tiempo por tarea, tasa de error y costo por tarea. Elastic llama a esto la línea base humana. Sin ella, cualquier mejora que declares después es una suposición. Es también el paso que más se omite, porque pocos equipos miden un proceso antes de decidir cambiarlo.
Si el proceso no tiene datos, empieza por un muestreo: observa veinte o treinta casos reales, anota tiempo y errores, y úsalos como referencia. Es poco preciso, pero te da un punto de comparación.
¿Cómo se calcula el valor?
Elastic propone el múltiplo de valor del agente (AVM, por sus siglas en inglés):
Valor = (ahorro de costos + ingreso incremental + mejora de margen) ÷ costo total
Cada término necesita una fuente de datos:
- Ahorro de costos: minutos ahorrados por tarea, multiplicados por el número de tareas, convertidos a dinero con el costo real por hora del equipo. Cuenta también el costo evitado, como una contratación que ya no hace falta.
- Ingreso incremental: en una función de recomendaciones, por ejemplo, la diferencia de conversión y ticket promedio entre quienes vieron la recomendación y un grupo de control.
- Mejora de margen: lo que baja el costo de servir a cada cliente.
El grupo de control importa tanto como la fórmula. Sin un grupo que no usa la función, no puedes separar el efecto de la IA de la tendencia normal del negocio.
Junto al múltiplo, Elastic recomienda seguir dos señales que explican por qué sube o baja. La tasa de éxito: el porcentaje de flujos resueltos sin intervención humana. Y la aceptación: si la gente usa la solución o vuelve al método manual. Una función con buen múltiplo en el papel y baja aceptación no va a sostener el ahorro.
¿Qué costos se suelen olvidar?
Elastic distingue tres grupos de costo. Los ocultos los toma de Gartner:
| Tipo | Ejemplos |
|---|---|
| Iniciales | Licencias, desarrollo del piloto, limpieza de datos |
| Recurrentes | Consumo de tokens, monitoreo |
| Ocultos | Desarrollo y mantenimiento de la aplicación, integración con sistemas existentes, seguridad y gobernanza, gestión de datos, cambio organizacional y capacitación |
Para que tareas simples y complejas se comparen bien, Elastic usa el costo por tarea completada (ACCT): el gasto total dividido entre las tareas terminadas con éxito. Si el agente falla y una persona rehace el trabajo, ese costo también entra.
Opslyft agrega tres detalles útiles:
- Repartir el gasto compartido. Varios clientes usan el mismo modelo, así que el costo por cliente depende de cómo lo asignes. Opslyft recomienda aceptar hoy una asignación de cerca del 70% del gasto en lugar de esperar un etiquetado perfecto.
- Entrada y salida no cuestan igual. Según Opslyft, los tokens de salida cuestan de 4 a 5 veces más que los de entrada, y aun así muchos equipos presupuestan con una proporción plana de uno a uno. Eso subestima las funciones que generan mucho texto.
- Precio por token más bajo no es factura más baja. Cuando el token se abarata, el uso crece: más usuarios, agentes que encadenan varias llamadas y contextos más largos.
¿Qué pasos seguir para calcular el ROI de una función?
- Define la tarea que la función cubre y su línea base de tiempo, error y costo.
- Registra cada costo, incluidos los ocultos, y asígnalo a la función.
- Mide el costo por tarea completada, no por llamada.
- Mide el valor contra el grupo de control o contra la línea base.
- Calcula el múltiplo de valor y revísalo cada mes, porque el costo cambia con el uso.
- Decide: escalar, ajustar o retirar la función si el múltiplo no supera 1 de forma sostenida.
¿Cuándo no conviene forzar un número de ROI?
Cuando la función aporta valor que no se puede medir bien, como la confianza de un cliente en la marca, y el equipo intenta inventar una cifra. También cuando el volumen es tan bajo que cualquier cálculo es ruido. En esos casos, mide señales cualitativas con entrevistas y una lista de criterios antes de invertir más. Para decidir qué funciones entran a la estrategia, revisa cuándo usar IA en un producto; para el seguimiento de uso y calidad, las métricas de producto para features de IA.
Ejemplo
Ejemplo ilustrativo (cifras inventadas para mostrar el cálculo): un equipo de soporte atiende 10.000 tickets al mes y prueba una función que redacta la respuesta.
- Línea base: cada respuesta toma 6 minutos. Son 60.000 minutos, unas 1.000 horas al mes.
- Con IA: redactar toma 2 minutos, y el 15% de los tickets necesita 4 minutos más de revisión. El promedio queda en 2,6 minutos: unas 433 horas al mes.
- Ahorro: unas 567 horas. A un costo de 25 USD por hora, son 14.175 USD al mes.
- Costo total: 200 USD de tokens, 1.500 USD de monitoreo y mantenimiento, y 3.000 USD al mes de la integración repartida en el tiempo. Total: 4.700 USD.
- Múltiplo: 14.175 ÷ 4.700 ≈ 3,0.
Los tokens son la parte más pequeña del costo. Ahora mira la sensibilidad: si la revisión sube al 60% de los tickets, el promedio pasa a 4,4 minutos, el ahorro baja a unas 267 horas (6.675 USD) y el múltiplo cae a 1,4. La tasa de revisión decide el ROI más que el precio del modelo. Antes de escalar, el equipo debería ajustar el prompt o limitar la función a las categorías de ticket donde la revisión es baja.
Errores comunes
- Lanzar sin línea base y declarar mejoras después.
- Medir aperturas o clics en lugar de tareas resueltas.
- Contar solo tokens y olvidar integración, seguridad y capacitación.
- Presupuestar con una proporción de uno a uno entre tokens de entrada y salida en funciones que generan texto largo.
- No tener grupo de control y atribuir a la IA una mejora que ya venía.
- Ignorar el trabajo humano de revisión al calcular el costo por tarea.
- Revisar el ROI una vez al año, cuando el costo cambia cada mes con el uso.