Paper #20 · Imagen y multimodalidad
High-Resolution Image Synthesis with Latent Diffusion Models
Síntesis de imágenes de alta resolución con modelos de difusión latente
- Autores:
- Rombach, Blattmann, Lorenz, Esser y Ommer
- Institución:
- LMU Múnich · IWR Heidelberg · Runway
- Año:
- 2022 · arXiv:2112.10752
En pocas palabras
En vez de aplicar difusión directamente sobre millones de píxeles, primero se comprime la imagen con un autoencoder a una representación latente mucho más pequeña y la difusión se hace ahí. Con capas de atención cruzada, el modelo se puede guiar con texto. Así nació Stable Diffusion.
Por qué importa hoy: Fundamento de Stable Diffusion y de gran parte de la revolución texto-a-imagen: hacer la difusión en un espacio latente en lugar de en píxeles.
El problema
Los modelos de difusión generaban imágenes excelentes, pero trabajando en el espacio de píxeles: entrenarlos costaba cientos de días de GPU y generar cada imagen era lento, porque requiere muchos pasos secuenciales sobre la imagen completa.
Ideas clave
Dos etapas
Primero un autoencoder aprende a comprimir imágenes a un espacio latente (por ejemplo, 8 veces más pequeño por lado) conservando los detalles perceptualmente importantes. Luego el modelo de difusión aprende a generar en ese espacio.
Separar percepción y semántica
El autoencoder se encarga de los detalles finos de textura; la difusión se concentra en la composición y el significado. Así se gasta el cómputo donde importa.
Atención cruzada para condicionar
La U-Net que elimina el ruido incorpora capas de atención cruzada que la conectan con un codificador del condicionamiento: texto, mapas semánticos o cajas delimitadoras.
Alta resolución por convolución
Como el modelo es convolucional en el espacio latente, puede aplicarse a imágenes más grandes que las de entrenamiento, por ejemplo para superresolución o paisajes panorámicos.
Resultados
- Nuevo estado del arte en inpainting (rellenar regiones de una imagen).
- Resultados muy competitivos en generación incondicional, síntesis desde mapas semánticos, superresolución y texto-a-imagen.
- Requisitos de cómputo mucho menores que los modelos de difusión en píxeles.
Legado
Con este método, Stability AI, Runway y LMU publicaron Stable Diffusion en 2022 con pesos abiertos, lo que desató el ecosistema de generación de imágenes: LoRAs, ControlNet, interfaces comunitarias y aplicaciones comerciales.
Conceptos para leerlo
Explicación original en español elaborada por AI Atlas; no es una traducción del paper. El texto completo pertenece a sus autores.