Transformer
En una frase
Transformer: una arquitectura de red neuronal que procesa secuencias usando mecanismos de atención para relacionar cada elemento con todos los demás.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Antes del Transformer, los modelos leían un texto palabra por palabra, en orden, y tendían a «olvidar» lo que venía al principio. El Transformer cambió eso: mira todas las palabras a la vez y decide, para cada una, a cuáles otras debe prestar atención.
En la frase «El trofeo no cabía en la maleta porque era demasiado grande», el Transformer puede aprender que «era» se refiere al trofeo. Esa capacidad de relacionar palabras lejanas es la que hizo posibles a los LLMs.
En 30 segundos
- 1Recibe tokens.
- 2Los convierte en embeddings y añade información de posición.
- 3Attention identifica qué tokens se relacionan entre sí.
- 4Capas feedforward transforman cada representación.
- 5Tras muchas capas, el modelo produce su salida.
Cómo funciona
Dentro de un Transformer
- TextoElgatoduerme
- TokenizaciónEl texto se divide en tokens
- Embeddings + posiciónCada token se vuelve un vector que sabe dónde está
- Self-AttentionCada token mira a los demás y toma contexto
- FeedforwardCada vector se procesa por separado
- × N capasEl bloque se repite decenas de veces
- Representación contextualVectores que capturan el significado en contexto
Modelo mental
- Embeddings
- Qué significa cada token por sí solo.
- Attention
- Con qué otros tokens debe combinarse.
- Feedforward
- Qué conocimiento aplicar a cada token.
- Capas apiladas
- Comprensión cada vez más abstracta.
Nivel técnico
Profundizando
Propuesto por Vaswani et al. (2017) en «Attention Is All You Need», el Transformer reemplazó la recurrencia de las RNNs por Self-Attention, lo que permite procesar todos los tokens de una secuencia en paralelo durante el entrenamiento.
Cada bloque contiene multi-head attention seguida de una red feedforward aplicada posición por posición, ambas envueltas en conexiones residuales y Layer Normalization. Como la atención no distingue el orden por sí sola, se añade codificación posicional.
Existen tres variantes: solo Encoder (BERT, para comprensión y embeddings), solo Decoder (GPT y la mayoría de los LLMs actuales, para generación) y Encoder-Decoder (el diseño original, T5, traducción). La arquitectura también se usa en visión (Vision Transformer), audio y biología.
Ver explicación matemática
La operación central del Transformer (scaled dot-product attention).
Qué significa cada símbolo
- Q
- Queries: lo que cada token está buscando
- K
- Keys: lo que cada token ofrece para ser encontrado
- V
- Values: la información que cada token aporta
- QKᵀ
- Similitud entre cada query y cada key (productos punto)
- √dₖ
- Factor de escala para estabilizar los valores
- softmax
- Convierte las similitudes en pesos que suman 1
Error común
¿Por qué importa?
Es la arquitectura detrás de prácticamente todos los LLMs modernos y de muchos modelos de visión, audio y ciencia. Entenderla es entender la base técnica de la IA actual.
¿Dónde se utiliza?
- Modelos de lenguaje
- Traducción automática
- Visión por computadora
- Reconocimiento de voz
- Predicción de estructuras de proteínas
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- Neural NetworkUn modelo formado por capas de unidades simples conectadas entre sí, que aprende ajustando la fuerza de esas conexiones.
- TokenLa unidad básica de texto que procesa un modelo de lenguaje: puede ser una palabra, parte de una palabra o un signo.
- EmbeddingsUna forma de convertir información como palabras, imágenes o documentos en listas de números que una computadora puede comparar matemáticamente.
Continúa aprendiendo
- Self-AttentionUna forma de atención en la que cada elemento de una secuencia se relaciona con los demás elementos de la misma secuencia.
- Large Language ModelUn modelo de IA entrenado con enormes cantidades de texto para predecir la siguiente palabra, lo que le permite conversar, escribir, resumir y razonar.
- Mixture of ExpertsUna arquitectura que divide parte del modelo en varios «expertos» y activa solo algunos para cada token, logrando mucha capacidad con menor costo por consulta.