Latent Diffusion
Difusión latente
En una frase
Latent Diffusion: un modelo de difusión que trabaja en un espacio comprimido de la imagen en lugar de en sus píxeles, lo que lo hace mucho más eficiente.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Quitar ruido píxel por píxel en una imagen grande es carísimo. La difusión latente primero comprime la imagen a una representación mucho más pequeña, hace todo el trabajo de difusión ahí y al final la «descomprime» a una imagen completa.
Nivel técnico
Profundizando
Rombach et al. (2021) usaron un autoencoder para mapear imágenes a un espacio latente de menor resolución (por ejemplo, 8× menor por lado), entrenaron la difusión en ese espacio y condicionaron con texto mediante cross-attention. Esta arquitectura es la base de Stable Diffusion y redujo drásticamente el costo de entrenar y generar.
¿Por qué importa?
Hizo posible generar imágenes de alta calidad en hardware de consumo.
¿Dónde se utiliza?
- Generación de imágenes
- Inpainting
- Superresolución