Jailbreak
En una frase
Jailbreak: un intento de manipular a un modelo con prompts diseñados para que ignore sus reglas de seguridad y produzca contenido que normalmente rechazaría.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Los modelos están entrenados para rechazar ciertas peticiones. Un jailbreak intenta engañarlos: disfrazar la petición de juego de rol, de historia ficticia, de «modo desarrollador» o codificarla de formas extrañas.
Los proveedores mejoran continuamente sus defensas, y los atacantes buscan nuevas grietas: es una carrera constante.
Nivel técnico
Profundizando
Técnicas conocidas: juego de rol y escenarios hipotéticos, ataques de muchos ejemplos en contextos largos (many-shot), traducción a idiomas con poca cobertura, codificación (base64, cifrados) y sufijos adversarios optimizados automáticamente (Zou et al., 2023). Defensas: entrenamiento de rechazo más robusto, clasificadores de entrada y salida, y Red Teaming continuo. Se distingue de la Prompt Injection: en un jailbreak el propio usuario ataca al modelo; en la inyección, el ataque viene de contenido de terceros.
¿Por qué importa?
Muestra que las reglas de un modelo no son garantías absolutas y que la seguridad requiere defensa en capas.
¿Dónde se utiliza?
- Evaluación de robustez
- Red teaming
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- Prompt InjectionUn ataque en el que instrucciones maliciosas escondidas en datos (una página web, un correo, un documento) hacen que un modelo actúe contra los intereses de su usuario.
- Constitutional AIUn método de alineación en el que un modelo se entrena para seguir un conjunto explícito de principios, usando retroalimentación generada por IA.
Conceptos relacionados
Aparece en la ruta IA segura y alineada.