Knowledge Distillation
Destilación de conocimiento
En una frase
Knowledge Distillation: entrenar un modelo pequeño (alumno) para imitar el comportamiento de un modelo grande (maestro), conservando buena parte de su calidad.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Un modelo enorme es potente pero caro y lento. La destilación entrena un modelo más pequeño usando las respuestas del grande como material de estudio. El alumno no llega a ser igual de bueno en todo, pero en las tareas que importan puede acercarse mucho, a una fracción del costo.
Nivel técnico
Profundizando
Hinton, Vinyals y Dean (2015) propusieron entrenar al alumno con las soft targets del maestro: la distribución completa de probabilidades (suavizada con una temperatura), que contiene más información que la etiqueta correcta sola (por ejemplo, que un «3» se parece más a un «8» que a un «1»). En LLMs también se destila generando datasets con el modelo maestro (datos sintéticos) y haciendo SFT del alumno, incluso con razonamientos completos.
¿Por qué importa?
Es una de las razones por las que modelos pequeños y rápidos mejoran tan rápido.
¿Dónde se utiliza?
- Modelos para dispositivos móviles
- Reducir costos de inferencia
- Modelos especializados