Perplexity
Perplejidad
En una frase
Perplexity: una métrica que mide qué tan «sorprendido» está un modelo de lenguaje por un texto: cuanto menor, mejor predice.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si un modelo tiene perplejidad 10 sobre un texto, es como si en cada paso dudara entre unas 10 opciones igual de probables. Un modelo que entiende bien el idioma duda menos y tiene menor perplejidad.
Nivel técnico
Profundizando
Es la exponencial de la entropía cruzada promedio por token: PPL = exp(−(1/N) Σ log p(xᵢ | x<ᵢ)). Solo es comparable entre modelos con el mismo Tokenizer y en el mismo texto. Es útil durante el preentrenamiento, pero correlaciona imperfectamente con la utilidad de un asistente; por eso se complementa con evaluaciones de tareas.
Ver explicación matemática
Qué significa cada símbolo
- N
- Número de tokens del texto
- p(xᵢ | …)
- Probabilidad que el modelo asignó al token real
- exp
- Exponencial: convierte la pérdida en un «número de opciones»
¿Por qué importa?
Es la métrica natural del preentrenamiento de modelos de lenguaje.
¿Dónde se utiliza?
- Seguimiento del preentrenamiento
- Comparar modelos del mismo tokenizer
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.