Q-Learning
En una frase
Q-Learning: un algoritmo de aprendizaje por refuerzo que aprende cuánto vale cada acción en cada situación para después elegir la mejor.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
El agente mantiene una tabla mental: «si estoy aquí y hago esto, ¿cuánta recompensa obtendré a la larga?». Con cada experiencia actualiza su estimación. Cuando las estimaciones son buenas, basta elegir la acción de mayor valor.
Nivel técnico
Profundizando
Aprende la función Q(s, a) mediante la actualización de Bellman: Q(s,a) ← Q(s,a) + α[r + γ·maxₐ′ Q(s′,a′) − Q(s,a)]. Es un método off-policy. Deep Q-Network (Mnih et al., 2013) reemplazó la tabla por una red neuronal y aprendió a jugar juegos de Atari a partir de píxeles, usando experience replay y una red objetivo para estabilizar.
Ver explicación matemática
Qué significa cada símbolo
- Q(s,a)
- Valor estimado de hacer la acción a en el estado s
- α
- Tasa de aprendizaje
- r
- Recompensa inmediata
- γ
- Factor de descuento: cuánto importan las recompensas futuras
- maxₐ′ Q(s′,a′)
- Mejor valor esperado desde el siguiente estado
¿Por qué importa?
Es uno de los algoritmos fundacionales del RL y el origen del deep RL moderno.
¿Dónde se utiliza?
- Videojuegos
- Control
- Enseñanza de RL
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.