Instruction Tuning

Ajuste por instrucciones

Large Language ModelsNivel 3 · AvanzadoTécnica~1 min de lectura

En una frase

Instruction Tuning: ajustar un modelo con muchas tareas descritas como instrucciones para que aprenda a seguir instrucciones en general.

¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica

Explícamelo fácil

Un modelo base, si le escribes «Traduce al inglés: hola», podría continuar con otra instrucción en vez de traducir. Tras el instruction tuning, entiende que debe obedecer la instrucción. Los modelos «Instruct» o «Chat» pasaron por este proceso.

Nivel técnico

Profundizando

Trabajos como FLAN (Wei et al., 2021) mostraron que entrenar con una gran variedad de tareas formuladas como instrucciones mejora el rendimiento zero-shot en tareas nuevas. Es una forma de SFT; en la práctica los términos se solapan.

¿Por qué importa?

Es lo que hace que los modelos sean útiles con instrucciones en lenguaje natural.

¿Dónde se utiliza?

Modelos de chat
Asistentes

Antes de aprender esto

Si alguno te resulta nuevo, empieza por ahí.

Supervised Fine-TuningAjustar un modelo con ejemplos de entradas y las respuestas ideales que debería producir.

Continúa aprendiendo

RLHFUna técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.

Conceptos relacionados

Zero-Shot Learning

Fuentes y lecturas

Finetuned Language Models Are Zero-Shot LearnersWei et al. · 2021 · Paper