¿Cómo se hace segura una IA?
IA segura y alineada
Alineación, ataques, defensas e interpretabilidad: cómo se intenta que la IA haga lo que queremos.
10 conceptos~11 min en totalNivel 3 · Avanzado
Empezar con AI Safety - 1AI SafetyEl campo que busca que los sistemas de IA funcionen de forma confiable, sin causar daños, incluso a medida que se vuelven más capaces.
- 2HallucinationCuando un modelo genera información falsa o inventada presentándola con seguridad como si fuera cierta.
- 3Algorithmic BiasCuando un sistema de IA produce resultados sistemáticamente injustos o distorsionados para ciertos grupos de personas.
- 4AI AlignmentEl problema de lograr que los sistemas de IA persigan los objetivos y valores que realmente pretendemos, no una versión distorsionada de ellos.
- 5RLHFUna técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.
- 6Constitutional AIUn método de alineación en el que un modelo se entrena para seguir un conjunto explícito de principios, usando retroalimentación generada por IA.
- 7JailbreakUn intento de manipular a un modelo con prompts diseñados para que ignore sus reglas de seguridad y produzca contenido que normalmente rechazaría.
- 8Prompt InjectionUn ataque en el que instrucciones maliciosas escondidas en datos (una página web, un correo, un documento) hacen que un modelo actúe contra los intereses de su usuario.
- 9InterpretabilityEl estudio de cómo y por qué un modelo produce sus resultados, para poder entenderlo, verificarlo y corregirlo.
- 10Mechanistic InterpretabilityUn enfoque de investigación que intenta descifrar los algoritmos internos de una red neuronal a nivel de neuronas, características y circuitos.