Paper #01 · Los cimientos

Attention Is All You Need

La atención es todo lo que necesitas

Autores:: Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser y Polosukhin
Institución:: Google Brain · Google Research
Año:: 2017 · arXiv:1706.03762

En pocas palabras

Propone el Transformer, una red que procesa secuencias usando únicamente mecanismos de atención, sin recurrencia ni convoluciones. Es más precisa en traducción automática y, sobre todo, mucho más paralelizable, lo que permitió entrenar modelos cada vez más grandes.

Por qué importa hoy: El nacimiento del Transformer: self-attention, multi-head attention y positional encoding. Casi todo lo demás parte de aquí.

El problema

En 2017 las mejores redes para traducir eran recurrentes (RNN, LSTM): leían la frase palabra por palabra, en orden. Eso impedía paralelizar el entrenamiento en GPUs y hacía difícil relacionar palabras lejanas entre sí. La atención ya existía, pero como complemento de esas redes recurrentes.

Ideas clave

Solo atención
Cada posición de la secuencia «mira» directamente a todas las demás y decide cuánto peso darle a cada una. Así cualquier par de palabras queda a un paso de distancia, sin importar qué tan separadas estén.
Consulta, clave y valor
Cada token se proyecta en tres vectores: una consulta (qué busco), una clave (qué ofrezco) y un valor (qué información aporto). El producto punto entre consultas y claves, escalado y pasado por softmax, da los pesos con los que se mezclan los valores.
Varias cabezas
En lugar de una sola atención, el modelo ejecuta varias en paralelo (multi-head). Cada cabeza puede especializarse en un tipo de relación: sintaxis, correferencias, proximidad, etc.
Codificación posicional
Como la atención no tiene noción de orden, se suma a cada embedding una señal de posición basada en senos y cosenos de distintas frecuencias. Así el modelo sabe dónde está cada token.
Bloques apilables
La arquitectura combina atención, una red feedforward por posición, conexiones residuales y normalización de capa, en un bloque que se repite. El codificador y el decodificador se construyen apilando esos bloques.

Resultados

Nuevo estado del arte en traducción inglés→alemán (28.4 BLEU) e inglés→francés (41.8 BLEU con un solo modelo).
El modelo grande se entrenó en 3.5 días con 8 GPUs: una fracción del costo de los sistemas anteriores.
La misma arquitectura funcionó bien en análisis sintáctico, una tarea distinta a la traducción.

Legado

El Transformer se volvió la base de BERT, GPT, T5, los Vision Transformers, los modelos de audio y prácticamente todos los LLMs actuales. Su ventaja clave, el paralelismo, es lo que hizo posible escalar a miles de millones de parámetros.

Conceptos para leerlo

Explicación original en español elaborada por AI Atlas; no es una traducción del paper. El texto completo pertenece a sus autores.