Self-Attention
Autoatención
En una frase
Self-Attention: una forma de atención en la que cada elemento de una secuencia se relaciona con los demás elementos de la misma secuencia.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
En self-attention, el texto se «mira a sí mismo». Cada palabra consulta a todas las demás palabras de la misma frase para entender mejor su propio significado.
En un modelo que genera texto, se añade una regla: cada palabra solo puede mirar hacia atrás, nunca a las palabras futuras (que aún no existen).
Nivel técnico
Profundizando
Q, K y V se obtienen de la misma secuencia de entrada, a diferencia de la cross-attention, donde las queries vienen de una secuencia y las keys/values de otra (por ejemplo, del Encoder en un Encoder-Decoder). En modelos Decoder se usa una máscara causal que asigna −∞ a las posiciones futuras antes de la Softmax. Su costo en tiempo y memoria es O(n²) respecto a la longitud n de la secuencia.
¿Por qué importa?
Es lo que permite que cada token tenga una representación que depende de todo su contexto.
¿Dónde se utiliza?
- Todos los Transformers
- Modelos de lenguaje
- Vision Transformers
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.