Evaluation
Evaluación de modelos
En una frase
Evaluation: el proceso sistemático de medir qué tan bien funciona un modelo o sistema de IA en las tareas que importan.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Probar un chatbot con cinco preguntas y decir «se ve bien» no es evaluar. Evaluar es tener un conjunto de casos representativos, criterios claros de qué es una buena respuesta y una forma de medir, idealmente automática, que puedas repetir cada vez que cambias algo.
En el mundo de los LLMs, a estas pruebas se les llama coloquialmente evals.
En 30 segundos
- 1Define qué significa «bueno» para tu caso.
- 2Reúne ejemplos representativos, incluidos casos difíciles.
- 3Elige cómo medir: métricas exactas, un LLM juez o personas.
- 4Ejecuta las evals en cada cambio de modelo o prompt.
- 5Compara resultados y analiza los errores, no solo el promedio.
Nivel técnico
Profundizando
Tipos: métricas automáticas con respuesta de referencia (Accuracy, F1, coincidencia exacta, pruebas unitarias para código), evaluación con modelos (LLM-as-a-Judge), evaluación humana y pruebas A/B en producción. Se distinguen benchmarks públicos (comparar modelos) de evals propias (medir tu sistema en tu tarea). Buenas prácticas: separar datos de desarrollo y prueba, reportar variabilidad, evaluar por subgrupos, vigilar la contaminación y revisar manualmente muestras de errores.
Error común
¿Por qué importa?
Sin evaluación, no sabes si un cambio mejoró o empeoró tu sistema. Es la base de cualquier desarrollo serio con IA.
¿Dónde se utiliza?
- Elegir entre modelos
- Validar cambios de prompt
- Evaluaciones de seguridad
- Monitoreo en producción
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- BenchmarkUn conjunto estandarizado de pruebas que permite comparar el desempeño de distintos modelos en las mismas tareas.
- LLM-as-a-JudgeUsar un modelo de lenguaje para evaluar automáticamente las respuestas de otro modelo (o del mismo) según criterios definidos.
- PrecisionDe todos los casos que el modelo marcó como positivos, qué proporción realmente lo era.