Supervised Fine-Tuning (SFT)
Ajuste fino supervisado
En una frase
SFT: ajustar un modelo con ejemplos de entradas y las respuestas ideales que debería producir.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Le muestras al modelo miles de ejemplos del tipo «ante esta pregunta, esta es una respuesta excelente». El modelo aprende a imitar esas respuestas. Es el primer paso para convertir un modelo preentrenado en un asistente.
Nivel técnico
Profundizando
Es aprendizaje supervisado estándar con pérdida de Cross-Entropy sobre los tokens de la respuesta (normalmente se enmascara la pérdida del prompt). La calidad y diversidad de las demostraciones importan más que la cantidad. En el pipeline típico de post-entrenamiento, SFT precede al ajuste por preferencias (RLHF o Direct Preference Optimization).
¿Por qué importa?
Enseña al modelo el formato y el comportamiento básico de un asistente.
¿Dónde se utiliza?
- Crear asistentes a partir de modelos base
- Especializar modelos en tareas
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- RLHFUna técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.
- Direct Preference OptimizationUn método para ajustar un modelo con datos de preferencia directamente, sin entrenar un modelo de recompensa ni usar aprendizaje por refuerzo.