Reward Model
Modelo de recompensa
En una frase
Reward Model: un modelo entrenado para asignar una puntuación a una respuesta que estima qué tan buena la considerarían las personas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es el «juez» automático de RLHF. Aprende de miles de comparaciones humanas y después puede calificar millones de respuestas nuevas sin que una persona tenga que revisarlas todas.
Nivel técnico
Profundizando
Suele ser un LLM con una cabeza escalar. Se entrena con pares (respuesta preferida, respuesta rechazada) maximizando σ(r(preferida) − r(rechazada)), el modelo de Bradley-Terry. Problemas: reward hacking (la política explota fallos del juez, por ejemplo, favoreciendo respuestas largas) y sobreoptimización. En razonamiento, se usan también recompensas verificables (tests de código, respuestas matemáticas) y process reward models, que evalúan cada paso del razonamiento.
¿Por qué importa?
Define qué optimiza el modelo durante el ajuste por preferencias; sus defectos se convierten en defectos del modelo.
¿Dónde se utiliza?
- RLHF
- Selección de respuestas (best-of-n)
- Evaluación automática
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- RLHFUna técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.
- Direct Preference OptimizationUn método para ajustar un modelo con datos de preferencia directamente, sin entrenar un modelo de recompensa ni usar aprendizaje por refuerzo.