Reinforcement Learning (RL)
Aprendizaje por refuerzo
En una frase
RL: un paradigma en el que un agente aprende a tomar decisiones probando acciones y recibiendo recompensas o penalizaciones.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es como entrenar a un perro con premios. Nadie le explica paso a paso qué hacer: prueba cosas, y cuando algo sale bien recibe una recompensa. Con el tiempo aprende qué acciones conviene repetir.
Así aprendió AlphaGo a jugar Go mejor que cualquier humano, y así se refinan hoy muchos LLMs y modelos de razonamiento.
Cómo funciona
El ciclo del aprendizaje por refuerzo
- EstadoEl agente observa la situación
- AcciónElige qué hacer según su política
- EntornoEl mundo responde
- RecompensaUna señal indica qué tan bien salió
- ActualizaciónLa política mejora y el ciclo se repite
Nivel técnico
Profundizando
Se formaliza como un proceso de decisión de Markov: estados s, acciones a, transiciones P(s′|s,a) y recompensas r. El agente aprende una política π(a|s) que maximiza la recompensa acumulada esperada, normalmente con descuento γ.
Familias de métodos: basados en valor (Q-Learning), basados en política (policy gradient, PPO) y actor-crítico. Un reto central es el balance entre exploración y explotación. En LLMs, RL se usa en RLHF y para entrenar razonamiento con recompensas verificables (por ejemplo, si un problema de matemáticas se resolvió correctamente).
¿Por qué importa?
Permite aprender comportamientos secuenciales donde no existe una respuesta correcta por paso, solo un resultado final bueno o malo.
¿Dónde se utiliza?
- Juegos (Go, ajedrez)
- Robótica
- Alineación de LLMs
- Modelos de razonamiento
- Sistemas de recomendación
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- PolicyEn aprendizaje por refuerzo, la estrategia que usa un agente para decidir qué acción tomar en cada situación.
- RLHFUna técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.
- Reasoning ModelUn LLM entrenado para generar un proceso de razonamiento extenso antes de responder, lo que mejora su desempeño en problemas complejos.