Superalignment

Hoy, una persona puede revisar si la respuesta de un modelo es buena. Pero ¿cómo supervisar a un sistema que escribe código o investigación mejor que cualquier experto? Si no podemos juzgar sus respuestas, técnicas como RLHF dejan de funcionar bien. La superalineación estudia cómo resolver ese problema.

Líneas de investigación: supervisión escalable (usar IA para ayudar a humanos a evaluar IA: debate, descomposición recursiva de tareas, críticas generadas por modelos), generalización débil-a-fuerte (Burns et al., 2023: ¿puede un supervisor débil obtener buen comportamiento de un modelo más fuerte?), interpretabilidad para verificar internamente y control de sistemas no plenamente confiables. El término se popularizó en 2023 cuando OpenAI anunció un equipo con ese nombre.

Aborda un problema que, de no resolverse, limitaría la posibilidad de confiar en sistemas de IA más capaces que nosotros.