Reward Function
Función de recompensa
En una frase
Reward Function: la regla que asigna un valor numérico a lo que hace un agente, indicándole qué tan bien lo está haciendo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es la forma de decirle al agente qué queremos. En un videojuego puede ser la puntuación. El problema es que el agente optimiza exactamente la recompensa, no lo que teníamos en mente: si premias «terminar rápido» sin más, podría encontrar un atajo absurdo.
Nivel técnico
Profundizando
r(s, a) define el objetivo del problema de RL. Diseñarla bien es difícil: recompensas escasas dificultan el aprendizaje y recompensas mal especificadas producen reward hacking (explotar huecos en la definición). Esto conecta con la ley de Goodhart y con alineación. Cuando es difícil definirla, se aprende de preferencias humanas con un modelo de recompensa.
¿Por qué importa?
Define el comportamiento que surgirá; una recompensa mal diseñada produce agentes que «cumplen» de formas no deseadas.
¿Dónde se utiliza?
- Diseño de agentes
- Robótica
- Alineación de modelos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.