Activation Function
Función de activación
En una frase
Activation Function: una función no lineal que se aplica a la salida de cada neurona y permite a la red aprender relaciones complejas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Sin funciones de activación, una red neuronal —por más capas que tenga— solo podría dibujar líneas rectas. La activación introduce «curvas», lo que permite modelar relaciones complicadas del mundo real.
La más común, ReLU, es sorprendentemente simple: si el número es negativo, lo convierte en cero; si es positivo, lo deja igual.
Nivel técnico
Profundizando
Funciones frecuentes: ReLU(x) = max(0, x); sigmoide σ(x) = 1/(1+e⁻ˣ), que comprime valores a (0,1); tanh, que comprime a (−1,1); GELU, una versión suave de ReLU usada en BERT y GPT; y SwiGLU, una variante con compuertas usada en muchos LLMs actuales. Deben ser diferenciables (al menos casi en todas partes) para permitir Backpropagation. Las sigmoides saturadas causan gradientes que se desvanecen, uno de los motivos por los que ReLU se volvió dominante.
¿Por qué importa?
Es lo que da a las redes neuronales su poder expresivo.
¿Dónde se utiliza?
- Todas las capas ocultas de redes neuronales
- Compuertas en LSTMs y SwiGLU
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.