Pruning
Poda
En una frase
Pruning: eliminar pesos, neuronas o capas poco importantes de un modelo para hacerlo más pequeño y rápido.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Como podar un árbol: se cortan las ramas que aportan poco para que el resto crezca mejor. En una red neuronal, muchas conexiones tienen pesos casi cero y apenas influyen; quitarlas reduce el tamaño con poca pérdida de calidad.
Nivel técnico
Profundizando
No estructurada: elimina pesos individuales (por ejemplo, los de menor magnitud), creando matrices dispersas que requieren hardware o kernels especiales para acelerar. Estructurada: elimina neuronas, cabezas de atención o capas completas, lo que acelera directamente en hardware estándar. Suele seguirse de un reentrenamiento breve para recuperar calidad. La hipótesis del «boleto de lotería» (Frankle y Carbin, 2018) sugiere que las redes grandes contienen subredes pequeñas entrenables.
¿Por qué importa?
Complementa a la cuantización y la destilación para desplegar modelos eficientes.
¿Dónde se utiliza?
- Modelos para edge
- Reducción de latencia