Red Teaming
Equipo rojo
En una frase
Red Teaming: atacar deliberadamente un sistema de IA para descubrir sus fallos y comportamientos dañinos antes de que lo hagan usuarios malintencionados.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Un equipo de personas (o modelos) intenta «romper» el sistema: hacerle decir cosas dañinas, filtrar información privada, saltarse sus reglas. Cada fallo encontrado es una oportunidad de corregirlo antes del lanzamiento.
Nivel técnico
Profundizando
Combina expertos humanos (incluidos especialistas de dominio en riesgos como ciberseguridad o biología), red teaming automatizado con modelos que generan ataques, y evaluaciones estructuradas. Los hallazgos alimentan datos de entrenamiento, Guardrail y decisiones de despliegue. Ganguli et al. (2022) documentaron metodologías y resultados a escala.
¿Por qué importa?
Es una de las prácticas más efectivas para encontrar riesgos reales antes de exponer un modelo al público.
¿Dónde se utiliza?
- Evaluaciones previas al lanzamiento
- Auditorías de seguridad
- Mejora de guardrails
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- JailbreakUn intento de manipular a un modelo con prompts diseñados para que ignore sus reglas de seguridad y produzca contenido que normalmente rechazaría.
- Prompt InjectionUn ataque en el que instrucciones maliciosas escondidas en datos (una página web, un correo, un documento) hacen que un modelo actúe contra los intereses de su usuario.