Interpretability
Interpretabilidad
En una frase
Interpretability: el estudio de cómo y por qué un modelo produce sus resultados, para poder entenderlo, verificarlo y corregirlo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Las redes neuronales son famosas por ser «cajas negras»: funcionan, pero no sabemos bien cómo. La interpretabilidad intenta abrir la caja: ¿qué conceptos representa el modelo por dentro? ¿Por qué eligió esta respuesta? ¿Está razonando o memorizando?
Nivel técnico
Profundizando
Enfoques: métodos de atribución (qué partes de la entrada influyeron más, como gradientes integrados), probing (entrenar clasificadores sobre activaciones para detectar qué información contienen), visualización de características y interpretabilidad mecanicista, que intenta reconstruir los algoritmos internos. Se relaciona con la explicabilidad, más orientada a dar explicaciones a usuarios.
¿Por qué importa?
Sin entender a los modelos por dentro, es difícil confiar en ellos en decisiones críticas o verificar que estén alineados.
¿Dónde se utiliza?
- Auditoría de modelos
- Depuración
- Investigación de seguridad
- Cumplimiento regulatorio
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
Conceptos relacionados
Aparece en la ruta IA segura y alineada.