Feedforward Network (FFN)
Red feedforward
En una frase
FFN: una red neuronal en la que la información fluye en una sola dirección; en un Transformer, procesa cada token por separado después de la atención.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si attention es el momento en que los tokens «se comunican», la capa feedforward es el momento en que cada token «reflexiona» por su cuenta usando el conocimiento que el modelo tiene guardado.
Muchos investigadores piensan que una parte importante del conocimiento factual de un LLM está almacenada en estas capas.
Nivel técnico
Profundizando
En un Transformer, la FFN es un MLP de dos capas aplicado posición por posición: FFN(x) = W₂ · σ(W₁x + b₁) + b₂, con una dimensión intermedia típicamente unas 4 veces mayor que la del modelo. Variantes como SwiGLU añaden compuertas. Contiene la mayoría de los parámetros de cada bloque. En arquitecturas Mixture of Experts, esta FFN se reemplaza por varios «expertos» y un Router.
¿Por qué importa?
Concentra buena parte de los parámetros y del conocimiento de un Transformer.
¿Dónde se utiliza?
- Bloques de Transformer
- Clasificadores simples
- Expertos en MoE
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- Residual ConnectionUn atajo que suma la entrada de una capa a su salida, facilitando el entrenamiento de redes muy profundas.
- Mixture of ExpertsUna arquitectura que divide parte del modelo en varios «expertos» y activa solo algunos para cada token, logrando mucha capacidad con menor costo por consulta.