Model Compression
Compresión de modelos
En una frase
Model Compression: el conjunto de técnicas para reducir el tamaño y el costo computacional de un modelo manteniendo su calidad.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Un modelo más pequeño es más barato, más rápido y puede correr en más dispositivos. Comprimirlo combina varias estrategias: usar números más pequeños (cuantización), quitar partes (poda) o enseñar a un modelo pequeño a imitar a uno grande (destilación).
Nivel técnico
Profundizando
Técnicas principales: cuantización, poda, destilación, factorización de bajo rango y compartición de pesos. Se combinan a menudo (Han et al., 2015, «Deep Compression», combinó poda, cuantización y codificación Huffman). El objetivo se mide en tamaño, latencia, consumo energético y degradación de calidad en evaluaciones relevantes.
¿Por qué importa?
Hace viable la IA en dispositivos y reduce costos a escala.
¿Dónde se utiliza?
- IA en el dispositivo
- Reducción de costos
- Baja latencia
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- QuantizationReducir la precisión numérica de los pesos (y a veces activaciones) de un modelo para que ocupe menos memoria y se ejecute más rápido.
- Knowledge DistillationEntrenar un modelo pequeño (alumno) para imitar el comportamiento de un modelo grande (maestro), conservando buena parte de su calidad.