Positional Encoding
Codificación posicional
En una frase
Positional Encoding: información que se añade a cada token para que el modelo sepa en qué posición de la secuencia se encuentra.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Attention, por sí sola, trata el texto como una bolsa de palabras sin orden: «el perro muerde al hombre» y «el hombre muerde al perro» se verían iguales. La codificación posicional le dice al modelo dónde está cada palabra, y así el orden vuelve a importar.
Nivel técnico
Profundizando
El Transformer original sumaba vectores sinusoidales de distintas frecuencias a los embeddings. Otras opciones son embeddings de posición aprendidos y, en la mayoría de los LLMs actuales, RoPE (Rotary Position Embedding), que rota los vectores de query y key según su posición, de modo que el producto punto depende de la distancia relativa entre tokens. Extensiones de RoPE permiten ampliar la ventana de contexto tras el entrenamiento.
¿Por qué importa?
Sin ella, los Transformers no podrían entender el orden, esencial en el lenguaje.
¿Dónde se utiliza?
- Transformers de lenguaje
- Extensión de contexto
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.