Direct Preference Optimization (DPO)
Optimización directa de preferencias
En una frase
DPO: un método para ajustar un modelo con datos de preferencia directamente, sin entrenar un modelo de recompensa ni usar aprendizaje por refuerzo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
RLHF tiene varias piezas móviles y es difícil de estabilizar. DPO llega a un objetivo similar con un truco matemático: ajusta el modelo para que aumente la probabilidad de la respuesta preferida y disminuya la de la rechazada, con una pérdida de entrenamiento sencilla.
Nivel técnico
Profundizando
Rafailov et al. (2023) mostraron que, bajo el objetivo de RLHF con penalización KL, la política óptima tiene forma cerrada; reescribiendo la recompensa en función de la política se obtiene una pérdida de clasificación binaria sobre pares de preferencia, relativa a un modelo de referencia congelado. Es más simple y estable que PPO, y ha inspirado muchas variantes.
¿Por qué importa?
Simplificó el ajuste por preferencias y lo volvió accesible fuera de los grandes laboratorios.
¿Dónde se utiliza?
- Alineación de modelos abiertos
- Ajuste de estilo y utilidad
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- RLAIFUna variante de RLHF en la que las preferencias las genera un modelo de IA, guiado por principios o instrucciones, en lugar de personas.
- Constitutional AIUn método de alineación en el que un modelo se entrena para seguir un conjunto explícito de principios, usando retroalimentación generada por IA.