Direct Preference Optimization: Your Language Model is Secretly a Reward Model

RLHF funciona, pero es complicado: hay que entrenar un modelo de recompensa, generar muestras durante el entrenamiento, mantener varios modelos en memoria y ajustar muchos hiperparámetros de PPO, que es inestable.

1. 01

   Solución cerrada

   El objetivo de RLHF (maximizar la recompensa sin alejarse del modelo de referencia) tiene una solución óptima conocida. Los autores despejan la recompensa en función de esa política óptima.

2. 02

   El modelo es la recompensa

   Así, la recompensa implícita de una respuesta es el logaritmo de cuánto más probable la hace el modelo ajustado frente al de referencia. No hace falta un modelo de recompensa separado.

3. 03

   Una pérdida sencilla

   Sustituyendo eso en el modelo de preferencias de Bradley-Terry queda una pérdida tipo regresión logística: subir la probabilidad relativa de la respuesta preferida y bajar la de la rechazada, con un parámetro β que controla cuánto puede alejarse del original.

• Controla el sentimiento de las generaciones mejor que PPO.
• Iguala o mejora a RLHF en resumen y diálogo de un turno.
• Mucho más simple de implementar, estable y barato: no requiere muestrear del modelo durante el entrenamiento.

DPO y sus variantes (IPO, KTO, ORPO, SimPO) se adoptaron rápidamente, sobre todo en modelos abiertos como Zephyr, Tulu o Llama 3, porque permiten alinear con recursos modestos.

• Direct Preference Optimization
• RLHF
• Preference Data
• Reward Model
• AI Alignment
• Loss Function