Exploration vs. Exploitation
Exploración vs. explotación
En una frase
Exploration vs. Exploitation: el dilema entre aprovechar lo que ya se sabe que funciona y probar opciones nuevas que podrían ser mejores.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
¿Vas a tu restaurante favorito (explotar lo conocido) o pruebas uno nuevo que podría ser mejor o peor (explorar)? Si nunca exploras, te pierdes opciones mejores; si siempre exploras, nunca disfrutas de lo que ya sabes que es bueno. Los agentes de RL enfrentan este dilema constantemente.
Nivel técnico
Profundizando
Estrategias: ε-greedy (elegir al azar con probabilidad ε), muestreo de Thompson, cotas de confianza superiores (UCB) y bonificaciones por curiosidad. El problema de los multi-armed bandits es su formulación más simple y se usa en pruebas A/B adaptativas y recomendaciones.
¿Por qué importa?
Aparece en cualquier sistema que aprende de la interacción: recomendaciones, anuncios, robótica.
¿Dónde se utiliza?
- Sistemas de recomendación
- Pruebas A/B adaptativas
- Robótica
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.