Paper #11 · Alineación
Constitutional AI: Harmlessness from AI Feedback
IA constitucional: inocuidad a partir de retroalimentación de IA
- Autores:
- Bai, Kadavath, Kundu, Askell, Kernion, Jones y otros 45 autores
- Institución:
- Anthropic
- Año:
- 2022 · arXiv:2212.08073
En pocas palabras
En lugar de pedir a personas que etiqueten miles de respuestas dañinas, se le da al modelo una lista de principios y se le enseña a criticarse y corregirse a sí mismo. Después, el propio modelo decide cuál respuesta es mejor y esas preferencias guían el aprendizaje por refuerzo.
Por qué importa hoy: Introduce RLAIF: principios escritos (una «constitución») y modelos supervisando modelos. Clave para entender Claude y la alineación escalable.
El problema
Etiquetar contenido dañino es caro, lento y desgastante para las personas. Además, los asistentes entrenados para ser inofensivos tendían a volverse evasivos: se negaban a responder sin explicar por qué. Y a medida que los modelos mejoran, será cada vez más difícil que las personas supervisen todo directamente.
Ideas clave
Una constitución
La única supervisión humana es una lista breve de principios en lenguaje natural (por ejemplo, elegir la respuesta menos dañina y más honesta). Eso hace explícitos y auditables los valores del modelo.
Fase supervisada: criticar y revisar
El modelo responde a prompts difíciles, luego critica su propia respuesta según un principio elegido al azar y la reescribe. Se ajusta el modelo con las versiones revisadas.
Fase de refuerzo: RLAIF
El modelo compara pares de respuestas y dice cuál cumple mejor la constitución. Con esas preferencias generadas por IA se entrena un modelo de preferencias que sirve como recompensa.
Inofensivo pero no evasivo
El objetivo no es negarse más, sino responder con transparencia: explicar por qué algo es problemático. El razonamiento paso a paso durante la evaluación mejora la calidad y hace visibles las decisiones.
Resultados
- Un asistente más inofensivo y menos evasivo que uno entrenado con RLHF usando etiquetas humanas de daño.
- Resultados logrados sin ninguna etiqueta humana que identifique respuestas dañinas.
Legado
Es parte central de cómo se entrena Claude y popularizó el RLAIF, hoy usado ampliamente para generar datos de preferencia a escala. También abrió la discusión sobre qué principios deben guiar a un modelo y quién los decide.
Conceptos para leerlo
Explicación original en español elaborada por AI Atlas; no es una traducción del paper. El texto completo pertenece a sus autores.