Next-Token Prediction
Predicción del siguiente token
En una frase
Next-Token Prediction: la tarea con la que se entrenan los LLMs: dado un texto, predecir cuál es el token que sigue.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
«El cielo es…» → probablemente «azul». Un LLM aprende repitiendo este ejercicio billones de veces con textos reales. Para predecir bien la continuación de un problema de física, una receta o un fragmento de código, tiene que aprender física, cocina y programación.
Al generar, repite el proceso: predice un token, lo añade al texto y predice el siguiente.
Ejemplo
Probabilidades del siguiente token
Texto: "La capital de Francia es"
París 0.91
una 0.03
la 0.02
Lyon 0.01
…Nivel técnico
Profundizando
El modelo estima p(xₜ | x₁, …, xₜ₋₁) y la probabilidad de una secuencia se factoriza como el producto de estas condicionales. En entrenamiento se usa teacher forcing y una máscara causal en la Self-Attention para que cada posición solo vea tokens anteriores, lo que permite calcular la pérdida de todas las posiciones en paralelo. En generación, el proceso es secuencial, lo que motiva optimizaciones como el KV Cache y el Speculative Decoding.
¿Por qué importa?
Explica tanto las capacidades de los LLMs como algunos de sus fallos: optimizan continuaciones plausibles, no necesariamente verdaderas.
¿Dónde se utiliza?
- Preentrenamiento de LLMs
- Autocompletado
- Generación de código
Antes de aprender esto
Continúa aprendiendo
- SamplingEl método con el que un modelo generativo elige el siguiente token a partir de su distribución de probabilidades.
- TemperatureUn parámetro que controla qué tan aleatorias o predecibles son las respuestas de un modelo generativo.
- PretrainingLa primera y más costosa fase de entrenamiento de un modelo fundacional, en la que aprende de enormes cantidades de datos sin etiquetar.