Regularization
Regularización
En una frase
Regularization: técnicas que limitan la complejidad de un modelo para evitar que memorice los datos y mejorar su generalización.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es ponerle reglas al modelo para que no «haga trampa» memorizando. Por ejemplo, dropout apaga neuronas al azar durante el entrenamiento, obligando a la red a no depender de ninguna en particular, como un equipo que practica con jugadores ausentes.
Nivel técnico
Profundizando
Formas comunes: penalización L2 (weight decay) o L1 sobre los pesos añadida a la pérdida; dropout; data augmentation; early stopping; y label smoothing. Desde un punto de vista bayesiano, la regularización L2 equivale a una distribución previa gaussiana sobre los parámetros.
¿Por qué importa?
Es la herramienta principal contra el overfitting.
¿Dónde se utiliza?
- Entrenamiento con pocos datos
- Redes profundas
- Fine-tuning
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.