Multimodal Model
Modelo multimodal
En una frase
Multimodal Model: un modelo capaz de procesar y a veces generar varios tipos de información, como texto, imágenes, audio o video.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Los primeros LLMs solo entendían texto. Un modelo multimodal puede ver una foto de tu refrigerador y sugerir recetas, leer una gráfica, escuchar un audio o describir un video.
Es más parecido a cómo percibimos el mundo las personas: combinando sentidos.
Nivel técnico
Profundizando
Un diseño común conecta un codificador de imágenes (por ejemplo, un Vision Transformer) con un LLM mediante una capa de proyección que convierte las características visuales en «tokens» del mismo espacio de embeddings que el texto. Otros modelos se entrenan de forma nativamente multimodal desde el inicio. Para generar imágenes o audio suelen combinarse con decodificadores especializados o modelos de difusión.
¿Por qué importa?
Amplía enormemente lo que la IA puede hacer: entender documentos escaneados, interfaces, fotos, diagramas y conversaciones de voz.
¿Dónde se utiliza?
- Lectura de documentos e imágenes
- Asistentes de voz
- Análisis de gráficas
- Computer use
- Accesibilidad
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
Conceptos relacionados
Aparece en la ruta Cómo genera imágenes una IA.