Softmax
En una frase
Softmax: una función que convierte una lista de números cualesquiera en probabilidades positivas que suman 1.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
La red produce puntuaciones sin forma definida: 2.0, 1.0, 0.1. Softmax las transforma en probabilidades: 66%, 24%, 10%. La puntuación más alta obtiene la mayor probabilidad, pero las demás no desaparecen.
Ejemplo
logits: [2.0, 1.0, 0.1]
softmax: [0.66, 0.24, 0.10] → suman 1Nivel técnico
Profundizando
softmax(z)ᵢ = exp(zᵢ) / Σⱼ exp(zⱼ). La exponencial asegura valores positivos y exagera las diferencias. Se usa en la capa de salida de clasificadores y LLMs, y dentro de Attention para convertir similitudes en pesos. Se implementa restando el máximo de los logits para estabilidad numérica. La temperatura divide los logits antes de aplicarla.
Ver explicación matemática
Qué significa cada símbolo
- zᵢ
- Logit (puntuación) de la opción i
- exp
- Función exponencial: siempre positiva
- Σⱼ exp(zⱼ)
- Suma de todas las exponenciales: normaliza para que el total sea 1
¿Por qué importa?
Es el puente entre las puntuaciones internas de un modelo y las probabilidades que usamos para decidir.
¿Dónde se utiliza?
- Clasificación
- Predicción del siguiente token
- Attention
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.