Constitutional AI
IA constitucional
En una frase
Constitutional AI: un método de alineación en el que un modelo se entrena para seguir un conjunto explícito de principios, usando retroalimentación generada por IA.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
En lugar de depender solo de miles de personas calificando respuestas, se escribe una «constitución»: una lista de principios (por ejemplo, ser útil, honesto y evitar daños). El modelo critica y corrige sus propias respuestas según esos principios, y después se entrena con esas correcciones.
Ventaja: los valores que guían al modelo quedan escritos y pueden revisarse.
Nivel técnico
Profundizando
Propuesto por Anthropic (Bai et al., 2022). Tiene dos fases: (1) supervisada: el modelo genera respuestas, las critica según principios de la constitución y las revisa; se hace SFT con las revisiones. (2) RL con retroalimentación de IA (RLAIF): un modelo compara pares de respuestas según los principios, se entrena un modelo de preferencias y se optimiza la política. Mostró que es posible reducir respuestas dañinas manteniendo la utilidad y con menos etiquetado humano de contenido dañino.
¿Por qué importa?
Hace más transparente y escalable el proceso de dar valores a un modelo.
¿Dónde se utiliza?
- Entrenamiento de asistentes
- Investigación de alineación
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- SuperalignmentEl problema de alinear sistemas de IA que podrían superar a los humanos, cuando ya no podemos evaluar directamente si su comportamiento es correcto.
- Mechanistic InterpretabilityUn enfoque de investigación que intenta descifrar los algoritmos internos de una red neuronal a nivel de neuronas, características y circuitos.
Conceptos relacionados
Aparece en la ruta IA segura y alineada.