Vision Transformer (ViT)
En una frase
ViT: una adaptación del Transformer a imágenes que divide la imagen en parches y los trata como si fueran tokens.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Un Transformer está diseñado para secuencias de palabras. El truco del ViT es cortar la imagen en cuadritos (por ejemplo, de 16×16 píxeles) y tratar cada cuadrito como si fuera una palabra. A partir de ahí, funciona como cualquier Transformer.
Nivel técnico
Profundizando
Dosovitskiy et al. (2020) mostraron que un Transformer estándar aplicado a secuencias de parches proyectados linealmente, con codificación posicional y un token de clasificación, puede igualar o superar a las CNNs cuando se preentrena con suficientes datos. Al tener menos sesgos inductivos que una CNN, necesita más datos, pero escala mejor. Los ViT son el codificador visual típico de los modelos multimodales.
¿Por qué importa?
Unificó visión y lenguaje bajo la misma arquitectura, facilitando la IA multimodal.
¿Dónde se utiliza?
- Clasificación de imágenes
- Codificadores de modelos multimodales
- Segmentación
Antes de aprender esto
Continúa aprendiendo
Conceptos relacionados
Aparece en la ruta Cómo genera imágenes una IA.