Gradiente
En una frase
Gradiente: un vector que indica, para cada parámetro, en qué dirección y con qué intensidad cambia una función; apunta hacia donde la función crece más rápido.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si estás en una colina, el gradiente es una flecha que apunta hacia la subida más empinada. Para entrenar un modelo queremos bajar el error, así que caminamos en la dirección contraria al gradiente. Eso es el descenso de gradiente.
Nivel técnico
Profundizando
∇f(θ) = (∂f/∂θ₁, …, ∂f/∂θₙ). En un modelo con miles de millones de parámetros, el gradiente tiene miles de millones de componentes, calculados eficientemente con Backpropagation. Problemas típicos: gradientes que se desvanecen (demasiado pequeños para aprender en capas profundas) o que explotan (demasiado grandes); se mitigan con conexiones residuales, normalización y gradient clipping.
¿Por qué importa?
Es la señal que le dice a cada parámetro cómo cambiar durante el entrenamiento.
¿Dónde se utiliza?
- Entrenamiento
- Ataques adversarios
- Métodos de atribución
Antes de aprender esto
Continúa aprendiendo
Conceptos relacionados
Aparece en las rutas Cómo aprende una IA y Las matemáticas de la IA, sin miedo.