Sparse Autoencoders (SAE)

Dentro de un LLM, cada neurona suele responder a muchas cosas mezcladas, lo que la vuelve difícil de interpretar. Un sparse autoencoder «desenreda» esa mezcla: traduce la actividad interna a un diccionario enorme de conceptos más limpios —por ejemplo, «el Golden Gate», «código con errores» o «tono sarcástico»—.

Se entrena un autoencoder sobre activaciones del modelo (por ejemplo, del residual stream) con una capa oculta mucho más ancha y una penalización de dispersión (L1 u otras), de modo que cada activación se reconstruya como combinación de pocas features. Trabajos de Anthropic (Bricken et al., 2023; Templeton et al., 2024) y otros grupos (Cunningham et al., 2023) mostraron features interpretables, incluso multilingües y multimodales, y que manipularlas cambia el comportamiento del modelo. Limitaciones: reconstrucción imperfecta, costo de entrenamiento y features difíciles de etiquetar.

Son una de las herramientas más prometedoras para leer las representaciones internas de los LLMs a escala.