Optimización
En una frase
Optimización: encontrar los valores que minimizan (o maximizan) una función; en IA, los parámetros que minimizan la pérdida.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Entrenar un modelo es un problema de optimización: de todas las configuraciones posibles de sus parámetros, encontrar una que cometa pocos errores. Es como buscar el punto más bajo de un paisaje montañoso gigantesco con los ojos vendados.
Nivel técnico
Profundizando
En deep learning, el problema es no convexo y de altísima dimensión, y se resuelve con métodos de primer orden basados en el gradiente: SGD, SGD con momento, Adam/AdamW. Elementos clave: Learning Rate y su calendario, tamaño de Batch, regularización e inicialización. Sorprendentemente, en redes grandes estos métodos simples encuentran soluciones que generalizan bien.
¿Por qué importa?
Es el motor matemático del aprendizaje.
¿Dónde se utiliza?
- Entrenamiento de modelos
- Ajuste de hiperparámetros
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- Loss FunctionUna fórmula que mide qué tan equivocadas están las predicciones del modelo; el entrenamiento busca hacerla lo más pequeña posible.
- GradienteUn vector que indica, para cada parámetro, en qué dirección y con qué intensidad cambia una función; apunta hacia donde la función crece más rápido.