Layer Normalization
Normalización de capa
En una frase
Layer Normalization: una técnica que reescala los valores dentro de cada capa para mantenerlos en un rango estable y hacer el entrenamiento más confiable.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Al pasar por muchas capas, los números pueden crecer o encogerse demasiado, lo que desestabiliza el aprendizaje. La normalización los «recentra» en cada paso, como ajustar el volumen para que no sature ni se vuelva inaudible.
Nivel técnico
Profundizando
LayerNorm (Ba et al., 2016) normaliza cada vector restando su media y dividiendo entre su desviación estándar, y luego aplica una escala y un desplazamiento aprendidos. A diferencia de batch normalization, no depende del tamaño del batch, lo que la hace adecuada para secuencias. Muchos LLMs usan RMSNorm, una variante más simple sin centrado, y la colocan antes de cada subcapa (pre-norm) para mayor estabilidad.
¿Por qué importa?
Es una pieza pequeña pero esencial para que los Transformers grandes entrenen de forma estable.
¿Dónde se utiliza?
- Transformers
- Redes recurrentes
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.