Multi-Head Attention
Atención multicabeza
En una frase
Multi-Head Attention: ejecutar varios mecanismos de atención en paralelo para que el modelo capture distintos tipos de relaciones a la vez.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Una sola atención solo puede fijarse en un tipo de relación a la vez. Con varias «cabezas», una puede seguir la gramática (qué sujeto va con qué verbo), otra las referencias (a quién se refiere «ella») y otra el tema general. Luego se combinan todas las perspectivas.
Nivel técnico
Profundizando
Con h cabezas, Q, K y V se proyectan a h subespacios de dimensión d/h, se calcula la atención en cada uno de forma independiente y los resultados se concatenan y proyectan de nuevo. Variantes como multi-query attention (MQA) y grouped-query attention (GQA) comparten keys y values entre cabezas para reducir el tamaño del KV Cache y acelerar la inferencia.
¿Por qué importa?
Aumenta la capacidad expresiva de la atención sin multiplicar su costo.
¿Dónde se utiliza?
- Transformers de lenguaje y visión
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- KV CacheUna memoria que guarda las keys y values ya calculadas de los tokens anteriores para no recalcularlas en cada paso de generación.
- Feedforward NetworkUna red neuronal en la que la información fluye en una sola dirección; en un Transformer, procesa cada token por separado después de la atención.