RLAIF
Aprendizaje por refuerzo con retroalimentación de IA
En una frase
RLAIF: una variante de RLHF en la que las preferencias las genera un modelo de IA, guiado por principios o instrucciones, en lugar de personas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Recolectar millones de comparaciones humanas es caro y lento. En RLAIF, un modelo evalúa las respuestas siguiendo criterios definidos por personas. Las personas siguen definiendo qué es «bueno», pero la IA hace la mayor parte del trabajo de calificar.
Nivel técnico
Profundizando
Se usa un LLM como etiquetador de preferencias, a menudo con una lista de principios (como en Constitutional AI, Bai et al., 2022). Lee et al. (2023) reportaron resultados comparables a RLHF en algunas tareas. Riesgos: el modelo evaluador puede transmitir sus propios sesgos, y hace falta validación humana periódica.
¿Por qué importa?
Permite escalar la alineación a muchos más ejemplos con menor costo.
¿Dónde se utiliza?
- Entrenamiento de asistentes
- Reducción de respuestas dañinas
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.