Learning Rate
Tasa de aprendizaje
En una frase
Learning Rate: un hiperparámetro que controla qué tan grandes son los ajustes que se hacen a los parámetros en cada paso de entrenamiento.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Siguiendo la analogía de la montaña: la learning rate es el tamaño de tus pasos. Pasos enormes pueden hacerte saltar el valle y terminar más arriba. Pasos diminutos te llevan al valle, pero tardarás muchísimo.
Nivel técnico
Profundizando
Es el η en la regla de Gradient Descent. Suele usarse un schedule: un calentamiento (warmup) inicial donde crece gradualmente, seguido de un decaimiento (por ejemplo, coseno). Es probablemente el hiperparámetro más sensible del entrenamiento. En Fine-Tuning suelen usarse valores más bajos que en el preentrenamiento para no destruir lo aprendido.
¿Por qué importa?
Una learning rate mal elegida puede arruinar un entrenamiento que por lo demás está bien configurado.
¿Dónde se utiliza?
- Configurar entrenamientos
- Fine-tuning
- Estabilidad del entrenamiento
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.