LLM-as-judge: usar un modelo para calificar a otro modelo
LLM-as-judge es usar un modelo de lenguaje para evaluar las respuestas de otro. Aprende cuándo sirve, qué sesgos tiene y cómo validarlo contra personas.
¿Qué es un juez modelo?
Un eval necesita un calificador. Anthropic distingue tres tipos: código, personas y modelos. El código es rápido y fiable para lo objetivo, como si un JSON es válido o si aparece una fecha. Las personas son flexibles pero lentas y caras. Para criterios con matices, como “la explicación es clara para alguien que no conoce el producto”, un modelo puede hacer el trabajo a escala.
El prompt del juez describe el criterio, incluye ejemplos y pide un veredicto con una crítica. Lo que importa no es qué modelo elijas, sino cuánto se parece su veredicto al de un experto. Anthropic lo resume así: los juzgadores deben estar calibrados con expertos humanos, y las personas siguen sirviendo para revisar de vez en cuando.
El enfoque se popularizó con el paper Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., NeurIPS 2023). Los autores encontraron que jueces fuertes como GPT-4 coinciden con las preferencias humanas en más del 80% de los casos, el mismo nivel de acuerdo que hay entre personas (en MT-Bench, sin contar empates, 85% de GPT-4 con personas frente a 81% entre personas). También documentaron sus límites, que veremos abajo.
¿Por qué binario y no una escala?
Es la recomendación más contraintuitiva. Hamel Husain advierte contra los tableros de métricas con puntajes de 1 a 5: la diferencia entre puntos adyacentes es subjetiva, “la gente no sabe qué hacer con un 3 o un 4”, y esos números rara vez correlacionan con lo que le importa al experto del dominio.
Un veredicto de aprobado o reprobado, con una crítica escrita que explique por qué, es más útil para decidir. Husain sugiere empezar con etiquetas binarias para entender cómo se ve lo “malo”. La documentación de Anthropic también acepta escalas de 1 a 5, pero pide rúbricas detalladas y que el juez dé una salida concreta (por ejemplo, solo “correcto” o “incorrecto”), porque las evaluaciones puramente cualitativas son difíciles de revisar a escala.
¿Qué sesgos tiene un juez modelo?
Zheng et al. describen tres:
| Sesgo | Qué significa | Cómo mitigarlo |
|---|---|---|
| Posición | Al comparar dos respuestas, favorece una posición; en el paper, la mayoría de los jueces prefirió la primera | Corre la comparación dos veces con el orden invertido y da la victoria solo si gana la misma respuesta en ambas |
| Verbosidad | Tiende a preferir respuestas más largas aunque otras sean más claras o exactas | Di en el criterio que la longitud no cuenta y revisa a mano algunos casos |
| Autopreferencia | Podría favorecer respuestas que él mismo generó; los autores no pudieron confirmarlo con sus datos | Usa otro modelo como juez o valida contra personas |
El paper también señala que los jueces pueden calificar mal preguntas de matemáticas y razonamiento, incluso básicas, porque se dejan influir por las respuestas que ven. Para esos casos propone darle al juez una respuesta de referencia, lo que bajó la tasa de error de 70% a 15% en su experimento. En todos los casos, mide al juez contra etiquetas humanas en tu propio caso.
¿Cómo se valida el juez?
Trata al juez como un clasificador. El procedimiento que describe Husain:
- Un experto etiqueta un conjunto de respuestas como aprobadas o reprobadas.
- Divides esos ejemplos en conjuntos de entrenamiento, desarrollo y prueba. El de prueba se aparta hasta el final.
- Ajustas el prompt con los ejemplos de desarrollo y lo congelas antes de la prueba final.
- Mides la tasa de verdaderos positivos (fallos reales que el juez detecta) y la tasa de verdaderos negativos (aciertos que aprueba bien).
No te quedes con el porcentaje de acuerdo: si solo el 5% de las respuestas fallan, un juez que siempre aprueba tiene 95% de acuerdo y no detecta ningún fallo. Husain también advierte que, tras muchas rondas de ajuste, el juez puede rendir bien en desarrollo y mal con ejemplos nuevos, aunque nunca hayas copiado esos ejemplos al prompt.
¿Cómo se escribe un buen prompt de juez?
- Criterio explícito: qué significa aprobado, con un ejemplo de cada lado.
- Críticas detalladas: Husain pide que la crítica de cada ejemplo sea lo bastante detallada para usarla como ejemplo en el prompt; ser demasiado escueto es un error común.
- Un juez por dimensión: Anthropic recomienda calificar cada dimensión (tono, exactitud, claridad) con un juez aislado en lugar de uno solo para todo.
- Una salida de emergencia: Anthropic sugiere permitir la respuesta “Desconocido” para que el juez no invente un veredicto sin datos.
- Razonar antes de calificar: la documentación de Anthropic indica que pedirle al juez que razone primero mejora la evaluación en tareas de juicio complejo.
- Mismo contexto que el experto: si la persona miraba el historial del usuario, el juez también debe verlo.
¿Cuándo NO conviene?
- Cuando el criterio se puede comprobar con código. Un juez modelo agrega costo y no determinismo donde no hacía falta.
- Cuando no tienes etiquetas humanas para validarlo. Un juez no validado es una opinión con formato de métrica.
- Cuando el juez es el mismo modelo que genera, sin haber medido si se favorece a sí mismo.
Ejemplo
Ejemplo ilustrativo: un asistente de un banco explica comisiones. Un experto revisa 80 respuestas y marca cuáles son aprobadas: 10 reprobadas y 70 aprobadas. El juez recibe el criterio “explica la comisión con el monto y la condición, sin usar jerga financiera sin definirla”, dos ejemplos aprobados y dos reprobados con crítica escrita. En la prueba, el juez detecta 9 de las 10 respuestas malas (tasa de verdaderos positivos de 90%), pero rechaza por error 4 de las 70 buenas (tasa de verdaderos negativos de unos 94%). El equipo ajusta el prompt con esos 4 casos, congela la versión y la usa en el eval semanal.
Para el marco de qué son los evals, lee qué son los evals. Para cómo descubrir los criterios con análisis de errores, evals como UX research. Y para el conjunto de casos que alimenta al juez, golden datasets.
Errores comunes
- Usar escalas de 1 a 5 sin definir qué significa cada número.
- Reportar solo el acuerdo general, sin tasas de verdaderos positivos y negativos.
- Dejar que el juez califique sin criterio escrito ni ejemplos.
- Ignorar el sesgo de posición: comparar siempre A contra B en el mismo orden.
- No congelar la versión del juez. Si cambias el prompt del juez, los resultados históricos dejan de ser comparables.