Residual Connection
Conexión residual
En una frase
Residual Connection: un atajo que suma la entrada de una capa a su salida, facilitando el entrenamiento de redes muy profundas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
En lugar de que cada capa tenga que reconstruir toda la información desde cero, solo tiene que añadir una «corrección» a lo que ya existía. La información original viaja por una vía rápida y cada capa le hace ajustes.
Esto permite entrenar redes con decenas o cientos de capas sin que la señal se pierda.
Nivel técnico
Profundizando
La salida es y = x + F(x), donde F es la transformación de la capa. Introducidas en ResNet (He et al., 2015), mitigan el problema del gradiente que se desvanece: el gradiente puede fluir directamente por el atajo. En Transformers, la secuencia de sumas residuales forma el residual stream, un concepto central en interpretabilidad mecanicista: cada capa lee de él y escribe en él.
¿Por qué importa?
Hizo posible el deep learning realmente profundo, incluidos los LLMs.
¿Dónde se utiliza?
- Transformers
- Redes convolucionales profundas