Decoder
Decodificador
En una frase
Decoder: la parte de un modelo que genera una secuencia de salida, un elemento a la vez, a partir de lo anterior.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Un decoder es un generador: escribe token por token, y cada token nuevo depende de los anteriores. La mayoría de los LLMs actuales (GPT, Claude, Llama y otros) son Transformers de tipo «solo decoder».
Nivel técnico
Profundizando
Un Transformer decoder-only usa Self-Attention con máscara causal y se entrena con predicción del siguiente token. Su simplicidad y buena escalabilidad lo convirtieron en la arquitectura dominante de los LLMs. En el diseño Encoder-Decoder, el decoder además incluye cross-attention hacia la salida del encoder.
¿Por qué importa?
Es la arquitectura base de casi todos los asistentes de IA actuales.
¿Dónde se utiliza?
- LLMs
- Generación de código
- Chatbots
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- Large Language ModelUn modelo de IA entrenado con enormes cantidades de texto para predecir la siguiente palabra, lo que le permite conversar, escribir, resumir y razonar.
- KV CacheUna memoria que guarda las keys y values ya calculadas de los tokens anteriores para no recalcularlas en cada paso de generación.