Training Language Models to Follow Instructions with Human Feedback

Un modelo preentrenado solo completa texto de forma plausible. No distingue entre lo que el usuario quiere y lo que suele aparecer en internet, así que puede inventar, ser tóxico o simplemente no ayudar. Hacerlo más grande no resuelve eso: está desalineado con la intención del usuario.

1. 01

   Paso 1: ajuste supervisado (SFT)

   Un equipo de etiquetadores escribe respuestas ideales a prompts reales de la API. GPT-3 se ajusta con esas demostraciones.

2. 02

   Paso 2: modelo de recompensa

   Para cada prompt se generan varias respuestas y las personas las ordenan de mejor a peor. Con esos rankings se entrena un modelo que predice qué respuesta preferiría un humano.

3. 03

   Paso 3: refuerzo con PPO

   El modelo se optimiza con aprendizaje por refuerzo para maximizar esa recompensa, con una penalización (KL) que impide alejarse demasiado del modelo supervisado y «hackear» la recompensa.

4. 04

   Costo de alineación

   El ajuste empeoraba un poco algunos benchmarks públicos. Mezclar gradientes de preentrenamiento durante el refuerzo (PPO-ptx) redujo esa regresión casi por completo.

• Las respuestas de InstructGPT 1.3B se prefieren sobre las de GPT-3 175B, un modelo 100 veces más grande.
• Mejoras en veracidad y menos texto tóxico, con regresiones mínimas en tareas públicas.
• Sigue cometiendo errores simples y obedece instrucciones dañinas si se le piden.

Es la receta que, meses después, se usó para crear ChatGPT. SFT seguido de RLHF se volvió el proceso estándar para convertir un modelo base en un asistente.

• RLHF
• Supervised Fine-Tuning
• Reward Model
• Preference Data
• AI Alignment
• Instruction Tuning
• Reinforcement Learning