LLM-as-a-Judge
LLM como juez
En una frase
LLM-as-a-Judge: usar un modelo de lenguaje para evaluar automáticamente las respuestas de otro modelo (o del mismo) según criterios definidos.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
La evaluación humana es lenta y cara. Un LLM puede revisar miles de respuestas en minutos siguiendo una rúbrica: «¿La respuesta es correcta según el documento? ¿Es amable? ¿Sigue el formato?». No es perfecto, pero bien calibrado es una herramienta muy útil.
Nivel técnico
Profundizando
Modalidades: puntuación individual con rúbrica, comparación por pares y verificación contra una referencia. Zheng et al. (2023) mostraron que modelos fuertes pueden lograr alto acuerdo con preferencias humanas en ciertos contextos. Sesgos conocidos: posición (preferir la primera respuesta), longitud, autopreferencia y dificultad con tareas que requieren verificación factual. Buenas prácticas: rúbricas específicas, pedir razonamiento antes del veredicto, alternar el orden y validar periódicamente contra juicios humanos.
¿Por qué importa?
Hace posible evaluar sistemas de LLMs de forma continua y a escala.
¿Dónde se utiliza?
- Evals de chatbots
- Evaluación de RAG
- Monitoreo de calidad en producción
- RLAIF
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.