Pretraining
Preentrenamiento
En una frase
Pretraining: la primera y más costosa fase de entrenamiento de un modelo fundacional, en la que aprende de enormes cantidades de datos sin etiquetar.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es la etapa de «educación general». Un LLM lee billones de palabras y aprende a predecir la siguiente. Al terminar, sabe mucho sobre el lenguaje y el mundo, pero todavía no sabe comportarse como asistente: si le haces una pregunta, podría continuar el texto con otra pregunta en vez de responder.
Esa conducta de asistente llega después, con el Fine-Tuning y técnicas como RLHF.
Nivel técnico
Profundizando
Se optimiza una pérdida de Cross-Entropy sobre la predicción del siguiente token en un corpus masivo (web filtrada, libros, código, artículos científicos). Requiere miles de GPUs o TPUs durante semanas o meses, con paralelismo de datos, de tensores y de pipeline. Las decisiones críticas incluyen la mezcla y el filtrado de datos, el tamaño del modelo y el número de tokens, guiadas por Scaling Laws.
¿Por qué importa?
Aquí se forma la mayor parte del conocimiento y las capacidades del modelo; es también donde se gasta la mayor parte del cómputo.
¿Dónde se utiliza?
- Crear modelos fundacionales
- Entrenamiento continuo en dominios nuevos
Antes de aprender esto
Continúa aprendiendo
- Supervised Fine-TuningAjustar un modelo con ejemplos de entradas y las respuestas ideales que debería producir.
- RLHFUna técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.
- Fine-TuningContinuar el entrenamiento de un modelo ya entrenado con datos específicos para especializarlo en una tarea, estilo o dominio.