AI Alignment

Pedir algo con precisión es más difícil de lo que parece. El rey Midas pidió que todo lo que tocara se volviera oro y obtuvo exactamente eso, con consecuencias terribles. La alineación busca que la IA haga lo que queremos decir, no solo lo que dijimos.

En la práctica actual, incluye que los modelos sean útiles, honestos e inofensivos; a largo plazo, que sistemas mucho más capaces que nosotros sigan actuando en nuestro interés.

Se suele dividir en alineación externa (especificar el objetivo correcto; problemas como la especificación incorrecta de la recompensa) e interna (que el modelo realmente aprenda ese objetivo y no una aproximación que coincida solo en entrenamiento). Técnicas actuales: RLHF, Constitutional AI, Direct Preference Optimization, supervisión escalable y Red Teaming. La interpretabilidad busca verificar la alineación desde dentro. Preocupaciones de investigación incluyen la adulación (sycophancy), el engaño y el comportamiento distinto en evaluación y despliegue.

Es uno de los problemas técnicos centrales para que la IA avanzada sea beneficiosa.