Guardrail
Barreras de protección
En una frase
Guardrail: controles alrededor de un modelo que filtran, validan o bloquean entradas y salidas para mantener su comportamiento dentro de límites seguros.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Como las barreras de una carretera de montaña: no manejan el auto, pero evitan que se salga del camino. Un guardrail puede bloquear preguntas fuera de tema, detectar datos personales antes de enviarlos o revisar que la respuesta no contenga información peligrosa.
Nivel técnico
Profundizando
Tipos: filtros de entrada (clasificadores de contenido, detección de Prompt Injection), filtros de salida (moderación, detección de datos personales, validación de formato con esquemas), restricciones de herramientas (permisos mínimos, listas blancas) y verificaciones de Grounding. Pueden usar reglas, modelos clasificadores o LLMs como jueces. Complementan, pero no reemplazan, la alineación del modelo mismo; deben evaluarse por falsos positivos que degradan la utilidad.
¿Por qué importa?
Son una capa práctica de defensa para desplegar IA en productos reales.
¿Dónde se utiliza?
- Chatbots de atención al cliente
- Agentes con acceso a sistemas
- Plataformas educativas
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- Red TeamingAtacar deliberadamente un sistema de IA para descubrir sus fallos y comportamientos dañinos antes de que lo hagan usuarios malintencionados.
- Prompt InjectionUn ataque en el que instrucciones maliciosas escondidas en datos (una página web, un correo, un documento) hacen que un modelo actúe contra los intereses de su usuario.