RLHF
Aprendizaje por refuerzo con retroalimentación humana
En una frase
RLHF: una técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es difícil escribir una regla que defina «una buena respuesta». Pero es fácil para una persona comparar dos respuestas y decir cuál es mejor. RLHF aprovecha eso: se recolectan miles de comparaciones, se entrena un modelo que aprende a predecir qué prefieren las personas y luego se usa ese «juez» para mejorar al LLM.
Fue una pieza clave para que modelos como ChatGPT fueran útiles, amables y seguros.
Cómo funciona
Las tres etapas clásicas de RLHF
- 1. SFTAjuste con demostraciones de respuestas ideales
- 2. Datos de preferenciaPersonas comparan pares de respuestas: A es mejor que B
- 3. Reward modelUn modelo aprende a puntuar respuestas como lo harían las personas
- 4. Optimización con RLEl LLM se ajusta (p. ej. con PPO) para maximizar esa puntuación
Nivel técnico
Profundizando
Basado en Christiano et al. (2017) y aplicado a LLMs en InstructGPT (Ouyang et al., 2022). El modelo de recompensa se entrena sobre datos de preferencia con una pérdida de tipo Bradley-Terry. Después, la política (el LLM) se optimiza con RL —típicamente PPO— para maximizar la recompensa, con una penalización KL que evita alejarse demasiado del modelo SFT (y así limitar el reward hacking).
Alternativas más simples como DPO optimizan directamente sobre las preferencias sin un modelo de recompensa explícito, y RLAIF reemplaza parte de la retroalimentación humana por la de modelos.
Error común
¿Por qué importa?
Convirtió a los modelos de lenguaje en asistentes útiles y es una herramienta central de la alineación práctica.
¿Dónde se utiliza?
- Asistentes conversacionales
- Reducir respuestas dañinas
- Mejorar utilidad y tono
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- Supervised Fine-TuningAjustar un modelo con ejemplos de entradas y las respuestas ideales que debería producir.
- Reinforcement LearningUn paradigma en el que un agente aprende a tomar decisiones probando acciones y recibiendo recompensas o penalizaciones.
- Reward ModelUn modelo entrenado para asignar una puntuación a una respuesta que estima qué tan buena la considerarían las personas.
Continúa aprendiendo
- Direct Preference OptimizationUn método para ajustar un modelo con datos de preferencia directamente, sin entrenar un modelo de recompensa ni usar aprendizaje por refuerzo.
- RLAIFUna variante de RLHF en la que las preferencias las genera un modelo de IA, guiado por principios o instrucciones, en lugar de personas.
- Constitutional AIUn método de alineación en el que un modelo se entrena para seguir un conjunto explícito de principios, usando retroalimentación generada por IA.