Learning Transferable Visual Models From Natural Language Supervision

Los sistemas de visión se entrenaban para reconocer una lista fija de categorías etiquetadas a mano (como las 1000 de ImageNet). Para cualquier concepto nuevo hacían falta más datos etiquetados, lo que limitaba su generalidad.

1. 01

   Dos codificadores

   Un codificador de imagen (ResNet o Vision Transformer) y uno de texto (Transformer) convierten cada imagen y cada descripción en un vector del mismo espacio.

2. 02

   Aprendizaje contrastivo

   En cada lote de N pares, el modelo maximiza la similitud coseno de los N pares correctos y minimiza la de los N² − N incorrectos. Es mucho más eficiente que intentar generar la descripción palabra por palabra.

3. 03

   Clasificación zero-shot

   Para clasificar, se convierten los nombres de las clases en frases («una foto de un perro») y se elige la más cercana a la imagen. No hace falta ningún ejemplo de entrenamiento de esa tarea.

4. 04

   Robustez

   Como aprende de datos muy variados, CLIP resiste mejor los cambios de distribución (dibujos, bocetos, imágenes adversarias) que los modelos entrenados solo con ImageNet.

• Iguala la precisión del ResNet-50 original en ImageNet sin usar ninguno de sus 1.28 millones de ejemplos de entrenamiento.
• Transferencia no trivial en más de 30 conjuntos de datos: OCR, reconocimiento de acciones, geolocalización y clasificación fina.
• Código y pesos publicados.

CLIP es el puente entre texto e imagen en DALL·E 2, Stable Diffusion (su codificador de texto), la búsqueda de imágenes por texto y muchos modelos multimodales de visión y lenguaje.

• Multimodal Model
• Embedding Space
• Embeddings
• Cosine Similarity
• Zero-Shot Learning
• Vision Transformer
• Image Classification
• Self-Supervised Learning