Evaluación

Exactitud

El porcentaje de predicciones correctas sobre el total de predicciones.

Prueba de referencia

Un conjunto estandarizado de pruebas que permite comparar el desempeño de distintos modelos en las mismas tareas.

Matriz de confusión

Una tabla que muestra cuántas predicciones de cada clase fueron correctas y en qué se confundió el modelo.

Evaluación de modelos

El proceso sistemático de medir qué tan bien funciona un modelo o sistema de IA en las tareas que importan.

Puntuación F1

Una métrica que combina precisión y recall en un solo número mediante su media armónica.

Evaluación humana

Evaluar las respuestas de un modelo mediante el juicio de personas, a menudo expertas, según criterios definidos.

Precisión

De todos los casos que el modelo marcó como positivos, qué proporción realmente lo era.

Exhaustividad

De todos los casos que realmente eran positivos, qué proporción logró detectar el modelo.

Equipo rojo

Atacar deliberadamente un sistema de IA para descubrir sus fallos y comportamientos dañinos antes de que lo hagan usuarios malintencionados.

Contaminación de datos

Cuando los datos de evaluación aparecen (total o parcialmente) en los datos de entrenamiento, inflando artificialmente los resultados.

LLM como juez

Usar un modelo de lenguaje para evaluar automáticamente las respuestas de otro modelo (o del mismo) según criterios definidos.

Perplejidad

Una métrica que mide qué tan «sorprendido» está un modelo de lenguaje por un texto: cuanto menor, mejor predice.