Policy
Política
En una frase
Policy: en aprendizaje por refuerzo, la estrategia que usa un agente para decidir qué acción tomar en cada situación.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
La política es el «manual de decisiones» del agente: ante esta situación, haz esto. Aprender por refuerzo consiste en mejorar ese manual a partir de las recompensas. En RLHF, la política es el propio LLM.
Nivel técnico
Profundizando
Formalmente, π(a|s) es una distribución de probabilidad sobre acciones dado un estado (política estocástica) o una función s → a (determinista). Los métodos de policy gradient (REINFORCE, PPO) optimizan directamente sus parámetros para maximizar la recompensa esperada. En LLMs, el «estado» es el texto hasta el momento y la «acción» es el siguiente token.
¿Por qué importa?
Es el objeto que realmente se aprende en RL.
¿Dónde se utiliza?
- Robótica
- Juegos
- RLHF
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.