Mechanistic Interpretability
Interpretabilidad mecanicista
En una frase
Mechanistic Interpretability: un enfoque de investigación que intenta descifrar los algoritmos internos de una red neuronal a nivel de neuronas, características y circuitos.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es como hacer ingeniería inversa de un programa compilado del que no tenemos el código fuente. Los investigadores buscan qué representa cada parte del modelo y cómo se combinan: por ejemplo, un «circuito» que detecta que una palabra se repite y predice cómo continuará.
El objetivo final es poder leer, en cierta medida, lo que un modelo «piensa».
Nivel técnico
Profundizando
Conceptos clave: el residual stream como canal de comunicación entre capas; features (direcciones en el espacio de activaciones que representan conceptos); superposición (los modelos representan más features que neuronas, mezclándolas; Elhage et al., 2022); y circuitos (subgrafos de componentes que implementan un comportamiento, como las induction heads). Herramientas: sparse autoencoders para separar features, activation patching para probar causalidad y grafos de atribución. Retos: escalar a modelos de frontera y verificar que las explicaciones sean completas.
¿Por qué importa?
Podría permitir verificar la seguridad de un modelo desde dentro, en lugar de solo observar su comportamiento.
¿Dónde se utiliza?
- Investigación de alineación
- Detección de comportamientos ocultos
- Depuración de modelos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- InterpretabilityEl estudio de cómo y por qué un modelo produce sus resultados, para poder entenderlo, verificarlo y corregirlo.
- TransformerUna arquitectura de red neuronal que procesa secuencias usando mecanismos de atención para relacionar cada elemento con todos los demás.
- Residual ConnectionUn atajo que suma la entrada de una capa a su salida, facilitando el entrenamiento de redes muy profundas.
Continúa aprendiendo
- Sparse AutoencodersRedes auxiliares que descomponen las activaciones internas de un modelo en muchas «características» interpretables, de las cuales solo unas pocas se activan a la vez.
- Representation EngineeringTécnicas para leer y modificar directamente las representaciones internas de un modelo con el fin de detectar o controlar conceptos como la honestidad o el tono.
Conceptos relacionados
Aparece en la ruta IA segura y alineada.