Gradient Descent
Descenso de gradiente
En una frase
Gradient Descent: un algoritmo de optimización que ajusta los parámetros de un modelo dando pequeños pasos en la dirección que más reduce el error.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Imagina que estás en una montaña con niebla y quieres llegar al valle. No ves el camino, pero sí sientes hacia dónde baja el suelo bajo tus pies. Das un paso en esa dirección, vuelves a sentir y repites.
Eso es el descenso de gradiente: la «altura» es la pérdida, y cada paso ajusta los parámetros para reducirla.
Cómo funciona
Bajando por la curva de pérdida
Nivel técnico
Profundizando
En cada iteración se calcula el gradiente de la pérdida respecto a los parámetros, ∇L(θ), y se actualiza θ en sentido contrario. En la práctica se usa descenso de gradiente estocástico (SGD): el gradiente se estima con un Batch pequeño de ejemplos, lo que es mucho más barato y añade ruido útil.
Optimizadores modernos como Adam o AdamW adaptan el tamaño de paso de cada parámetro usando promedios de gradientes pasados. La Learning Rate controla el tamaño del paso: si es muy grande, el entrenamiento diverge; si es muy pequeña, avanza demasiado lento.
Ver explicación matemática
Qué significa cada símbolo
- θ
- Parámetros del modelo
- η
- Learning rate (tamaño del paso)
- ∇θ L(θ)
- Gradiente: dirección en la que la pérdida crece más rápido
- −
- Se resta porque queremos bajar, no subir
Error común
¿Por qué importa?
Es el mecanismo con el que se entrenan prácticamente todas las redes neuronales, desde clasificadores pequeños hasta LLMs.
¿Dónde se utiliza?
- Entrenamiento de redes neuronales
- Regresión logística
- Fine-tuning
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- Loss FunctionUna fórmula que mide qué tan equivocadas están las predicciones del modelo; el entrenamiento busca hacerla lo más pequeña posible.
- GradienteUn vector que indica, para cada parámetro, en qué dirección y con qué intensidad cambia una función; apunta hacia donde la función crece más rápido.
- DerivadaUna medida de qué tan rápido cambia el resultado de una función cuando cambias un poco su entrada.
Continúa aprendiendo
Conceptos relacionados
Aparece en la ruta Cómo aprende una IA.