Human Evaluation
Evaluación humana
En una frase
Human Evaluation: evaluar las respuestas de un modelo mediante el juicio de personas, a menudo expertas, según criterios definidos.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Hay cualidades que las métricas automáticas no capturan bien: si una explicación es clara, si un texto suena natural o si un consejo médico es apropiado. Para eso se necesita que personas lean y califiquen.
Nivel técnico
Profundizando
Formatos: calificación absoluta con rúbricas (escalas Likert), comparaciones por pares (más consistentes), y plataformas abiertas donde usuarios votan entre respuestas anónimas de dos modelos (como Chatbot Arena, que agrega votos en ratings tipo Elo). Retos: costo, acuerdo entre evaluadores, sesgos (preferencia por respuestas largas o seguras de sí mismas) y necesidad de expertos en dominios técnicos.
¿Por qué importa?
Sigue siendo la referencia de calidad contra la que se validan las métricas automáticas.
¿Dónde se utiliza?
- Evaluación de asistentes
- Validación de LLM-as-a-judge
- Datos de preferencia
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.