Cross-Entropy
Entropía cruzada
En una frase
Cross-Entropy: la función de pérdida estándar para clasificación y modelos de lenguaje: penaliza al modelo cuando asigna baja probabilidad a la respuesta correcta.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si la respuesta correcta es «gato» y el modelo le dio 90% de probabilidad, la penalización es pequeña. Si le dio 1%, la penalización es enorme. La entropía cruzada premia al modelo por estar seguro de lo correcto y lo castiga duramente por estar seguro de lo incorrecto.
Nivel técnico
Profundizando
Para una etiqueta correcta y, la pérdida es −log p(y). Entre dos distribuciones, H(p, q) = −Σ p(x) log q(x), que equivale a la entropía de p más la divergencia KL(p‖q). Minimizarla equivale a maximizar la verosimilitud de los datos. Es la pérdida del preentrenamiento de los LLMs, promediada sobre todos los tokens; su exponencial es la perplejidad.
Ver explicación matemática
Entropía cruzada para un solo ejemplo con etiqueta correcta.
Qué significa cada símbolo
- p(y_correcto)
- Probabilidad que el modelo asignó a la respuesta correcta
- −log
- Convierte probabilidades altas en pérdidas pequeñas y bajas en pérdidas grandes
¿Por qué importa?
Es la señal de aprendizaje con la que se entrenan prácticamente todos los clasificadores y modelos de lenguaje.
¿Dónde se utiliza?
- Clasificación
- Preentrenamiento de LLMs
- Fine-tuning
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- SoftmaxUna función que convierte una lista de números cualesquiera en probabilidades positivas que suman 1.
- Distribución de probabilidadUna descripción de todos los resultados posibles de algo incierto y de qué tan probable es cada uno.
- Loss FunctionUna fórmula que mide qué tan equivocadas están las predicciones del modelo; el entrenamiento busca hacerla lo más pequeña posible.