Temperatura y top-p: creatividad vs. precisión
Temperatura y top-p controlan cuánta aleatoriedad tiene la respuesta de un modelo de IA. Qué hace cada uno, cuándo moverlos y qué no esperar de ellos.
¿Qué hace la temperatura?
En cada paso, el modelo calcula una puntuación para cada token posible y la convierte en probabilidades con una función llamada softmax. La temperatura divide esas puntuaciones antes de convertirlas. Una temperatura baja amplifica las diferencias entre opciones y concentra la probabilidad en la más probable. Una temperatura alta las suaviza y reparte la probabilidad de forma más pareja.
Ejemplo ilustrativo: tres tokens candidatos con puntuaciones 2, 1 y 0. Aplicando softmax, estas son sus probabilidades según la temperatura:
| Temperatura | Token A | Token B | Token C |
|---|---|---|---|
| 0.5 | 87 % | 12 % | 2 % |
| 1 | 67 % | 24 % | 9 % |
| 2 | 51 % | 31 % | 19 % |
Con temperatura 0.5, el token A casi siempre gana. Con 2, los otros dos tienen opciones reales y las respuestas varían más entre ejecuciones.
En la práctica:
- Temperatura baja: la respuesta tiende a repetirse ante la misma entrada. Sirve para extraer datos, clasificar o generar código que debe ser consistente.
- Temperatura alta: la respuesta varía más. Sirve para lluvia de ideas, nombres o variaciones de un texto, pero aumenta el riesgo de que el modelo se desvíe.
La documentación de la API de Anthropic resume la idea así: temperatura cercana a 0.0 para tareas analíticas o de opción múltiple, y cercana a 1.0 para tareas creativas y generativas.
¿Qué hace top-p?
Top-p, también llamado muestreo de núcleo (nucleus sampling), fue propuesto por Holtzman y colaboradores en 2019 y funciona de otra forma. En cada paso ordena los candidatos de más a menos probable y se queda con el grupo más pequeño cuya suma de probabilidades alcanza p. Luego elige entre ese grupo.
Con las probabilidades de la tabla (temperatura 1) y p = 0.9, el grupo son los tokens A y B, porque 67 % + 24 % = 91 %; el token C queda fuera. Con temperatura 2 y el mismo p, los tres entrarían, porque A + B suman solo 82 %. Si un token domina con 90 % de probabilidad, el grupo puede ser de uno solo. Por eso el número de candidatos se adapta a cada paso, algo que el top-k fijo no hace: top-k siempre conserva el mismo número de opciones.
Los autores buscaban evitar dos problemas: el texto soso y repetitivo de maximizar la probabilidad y el texto poco fiable que sale de muestrear toda la distribución, incluida su cola de opciones improbables.
¿Qué valores uso según la tarea?
No hay números universales: depende del modelo y de la tarea. Como punto de partida para decidir la dirección:
| Tarea | Dirección | Por qué |
|---|---|---|
| Extraer datos, clasificar, responder con formato fijo | Baja | Quieres la misma respuesta cada vez |
| Resumir o explicar | Media o baja | Fidelidad al texto, con redacción natural |
| Lluvia de ideas, nombres, variantes de copy | Alta | Quieres opciones distintas |
Mide siempre con tus propios casos. Para comparar dos configuraciones con rigor, usa A/B testing de prompts o evaluaciones, no una sola respuesta.
¿Temperatura 0 da siempre la misma respuesta?
No necesariamente. La documentación de la API de Anthropic lo dice de forma explícita: incluso con temperatura 0.0, los resultados no serán totalmente deterministas. Y aunque lo fueran, repetir siempre lo mismo no significa acertar: un modelo puede dar de forma consistente una respuesta equivocada o inventada (ver Alucinaciones: por qué la IA inventa y cómo diseñar para ello).
Para el diseño de producto esto importa en dos lugares. Primero, no prometas en la interfaz que “la IA siempre responde igual”. Segundo, si necesitas un formato estable, la temperatura baja ayuda pero no lo garantiza; otras técnicas, como las salidas estructuradas, lo hacen mejor.
¿Cuándo NO conviene tocar estos parámetros?
Cuando el problema es de calidad, no de variedad. Si el modelo responde mal porque no tiene el contexto, subir o bajar la temperatura no lo arregla. Tampoco conviene moverlos para “sacar” una respuesta correcta por azar. Antes de ajustar, revisa el prompt (ver prompt-engineering), la información que recibe y los ejemplos.
Y no des por hecho que existen o se respetan igual en todos los modelos. Según la documentación de la API de Anthropic, los modelos lanzados después de Claude Opus 4.6 no permiten cambiar la temperatura: aceptan 1.0 y rechazan cualquier otro valor con un error 400. Con top-p ocurre algo parecido (solo acepta valores de 0.99 o más) y top-k se rechaza por completo. Cada proveedor documenta sus propios rangos y restricciones; confirma en la documentación del modelo antes de diseñar sobre ellos.
Ejemplo
Ejemplo ilustrativo: un equipo de producto tiene dos funciones con IA. La primera extrae fechas y montos de facturas para llenar un formulario; ahí quiere respuestas repetibles, así que usa temperatura baja. La segunda propone tres títulos alternativos para un artículo; ahí quiere variedad, así que sube la temperatura. El diseñador no necesita entender la matemática, pero sí debe saber que una función necesita consistencia y la otra diversidad, y que eso se decide en la configuración, no en el texto del prompt.
Errores comunes
- Mover temperatura y top-p a la vez sin una razón clara.
- Creer que temperatura 0 garantiza una respuesta correcta o idéntica.
- Usar temperatura alta para tareas de datos y luego sorprenderse de que los datos cambian.
- Probar un parámetro con una sola respuesta. Compara varias ejecuciones y evalúa la calidad.
- Pensar que estos parámetros son “creatividad” en sentido humano. Son reglas de muestreo sobre probabilidades.
- Asumir que el parámetro existe en el modelo que usas sin leer su documentación.