Preference Data
Datos de preferencia
En una frase
Preference Data: datos que indican cuál de dos o más respuestas es mejor, usados para ajustar modelos a lo que prefieren las personas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
En lugar de escribir la respuesta perfecta, alguien ve dos respuestas y marca cuál prefiere, a veces explicando por qué. Miles de estas elecciones enseñan al modelo qué significa «mejor».
Nivel técnico
Profundizando
Cada ejemplo es (prompt, respuesta_a, respuesta_b, preferencia). Puede incluir empates, escalas de intensidad o criterios separados (utilidad, veracidad, seguridad). La calidad depende de guías de anotación claras y del acuerdo entre anotadores. Se usa para entrenar modelos de recompensa o directamente con Direct Preference Optimization.
¿Por qué importa?
Codifica los valores y criterios que el modelo terminará reflejando.
¿Dónde se utiliza?
- RLHF
- DPO
- Evaluación comparativa
Antes de aprender esto
Continúa aprendiendo
- Reward ModelUn modelo entrenado para asignar una puntuación a una respuesta que estima qué tan buena la considerarían las personas.
- Direct Preference OptimizationUn método para ajustar un modelo con datos de preferencia directamente, sin entrenar un modelo de recompensa ni usar aprendizaje por refuerzo.