Representation Engineering (RepE)
Ingeniería de representaciones
En una frase
RepE: técnicas para leer y modificar directamente las representaciones internas de un modelo con el fin de detectar o controlar conceptos como la honestidad o el tono.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si encontramos la «dirección» interna que corresponde a un concepto —por ejemplo, «alegría»—, podemos sumarla a las activaciones del modelo mientras genera y hacer que escriba de forma más alegre, sin cambiar el prompt ni reentrenarlo. También podemos medir esa dirección para detectar cuándo el concepto está presente.
Nivel técnico
Profundizando
Zou et al. (2023) propusieron un enfoque «de arriba hacia abajo»: identificar direcciones en el espacio latente a partir de contrastes (respuestas honestas vs. deshonestas, por ejemplo) y usarlas para lectura (probing) y control (steering, sumando vectores a las activaciones). Complementa a la interpretabilidad mecanicista, que trabaja «de abajo hacia arriba». Limitaciones: los efectos pueden ser frágiles y producir efectos secundarios.
¿Por qué importa?
Ofrece una forma directa de monitorear y ajustar comportamientos de un modelo desde dentro.
¿Dónde se utiliza?
- Detección de deshonestidad
- Control de estilo
- Investigación de seguridad