Attention
Mecanismo de atención
En una frase
Attention: un mecanismo que permite a un modelo decidir qué partes de la entrada son más relevantes para procesar cada elemento.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Cuando lees «El banco estaba lleno de peces», tu cerebro usa la palabra «peces» para entender que «banco» se refiere a un grupo de peces y no a una institución financiera. Attention hace algo similar: para cada palabra, calcula cuánto debe fijarse en cada una de las demás.
El resultado es que cada palabra se enriquece con el contexto que realmente importa.
Cómo funciona
¿A qué presta atención «duerme»?
Nivel técnico
Profundizando
Cada token produce tres vectores mediante proyecciones lineales aprendidas: query, key y value (QKV). El peso de atención entre dos tokens se calcula con el producto punto entre la query de uno y la key del otro, escalado por √dₖ y normalizado con Softmax. La salida es la suma ponderada de los values.
Attention se introdujo en traducción automática (Bahdanau et al., 2014) para modelos recurrentes; el Transformer la convirtió en el componente central. Su costo es cuadrático en la longitud de la secuencia, lo que motiva variantes eficientes y optimizaciones como FlashAttention.
Ver explicación matemática
Qué significa cada símbolo
- Q, K, V
- Matrices de queries, keys y values (una fila por token)
- dₖ
- Dimensión de los vectores key
- softmax
- Normaliza cada fila para que los pesos sumen 1
¿Por qué importa?
Es la idea que permitió a los modelos manejar contexto de forma flexible y escalar a los LLMs actuales.
¿Dónde se utiliza?
- Transformers
- Traducción
- Modelos multimodales
- Resumen de documentos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- EmbeddingsUna forma de convertir información como palabras, imágenes o documentos en listas de números que una computadora puede comparar matemáticamente.
- Producto puntoUna operación entre dos vectores que multiplica sus componentes una a una y suma los resultados; mide qué tanto «apuntan en la misma dirección».
Continúa aprendiendo
- Self-AttentionUna forma de atención en la que cada elemento de una secuencia se relaciona con los demás elementos de la misma secuencia.
- Query, Key y ValueLos tres vectores que cada token genera en el mecanismo de atención: lo que busca (query), cómo se le encuentra (key) y lo que aporta (value).
- Multi-Head AttentionEjecutar varios mecanismos de atención en paralelo para que el modelo capture distintos tipos de relaciones a la vez.
Conceptos relacionados
Aparece en la ruta Cómo funciona ChatGPT.