Benchmark
Prueba de referencia
En una frase
Benchmark: un conjunto estandarizado de pruebas que permite comparar el desempeño de distintos modelos en las mismas tareas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es como un examen estandarizado para modelos de IA. Todos responden las mismas preguntas y se comparan las calificaciones. Hay benchmarks de conocimiento general, matemáticas, programación, razonamiento, uso de herramientas y seguridad.
Nivel técnico
Profundizando
Ejemplos históricos e influyentes: ImageNet (visión), GLUE/SuperGLUE (comprensión de lenguaje), MMLU (conocimiento multitarea; Hendrycks et al., 2020) y benchmarks de código basados en pruebas unitarias. Problemas conocidos: saturación (los modelos llegan al máximo y el benchmark deja de discriminar), contaminación (las preguntas aparecieron en los datos de entrenamiento), sobreoptimización (ley de Goodhart) y baja correspondencia con el uso real. Por eso aparecen continuamente benchmarks más difíciles y evaluaciones basadas en preferencias humanas.
¿Por qué importa?
Permiten comparar modelos de forma objetiva, aunque ningún benchmark captura todo lo que importa.
¿Dónde se utiliza?
- Comparar modelos
- Medir progreso del campo
- Anuncios de nuevos modelos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.