Adversarial Attack
Ataque adversario
En una frase
Adversarial Attack: modificar una entrada de forma sutil —a menudo imperceptible para humanos— para que un modelo cometa un error.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Cambiar unos cuantos píxeles de la foto de un panda, de forma invisible para ti, puede hacer que un clasificador diga con 99% de seguridad que es un gibón. Pegatinas en una señal de alto pueden confundir a un sistema de visión. Esto revela que los modelos «ven» de forma muy distinta a nosotros.
Nivel técnico
Profundizando
Goodfellow et al. (2014) propusieron FGSM: perturbar la entrada en la dirección del signo del gradiente de la pérdida. Tipos: de caja blanca (con acceso al modelo) y de caja negra; dirigidos y no dirigidos; digitales y físicos. Defensas: entrenamiento adversario, certificación de robustez y detección. En LLMs, los sufijos adversarios y los jailbreaks son análogos textuales.
¿Por qué importa?
Muestra la fragilidad de los modelos y es crítico en aplicaciones de seguridad como vehículos autónomos.
¿Dónde se utiliza?
- Evaluación de robustez
- Seguridad de visión artificial
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.