Sparse Model
Modelo disperso
En una frase
Sparse Model: un modelo en el que solo una parte de sus parámetros se usa (o es distinta de cero) para procesar cada entrada.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
En un modelo disperso no todo trabaja siempre. Como un edificio donde solo se encienden las luces de los pisos ocupados: hay mucha capacidad, pero el consumo depende de lo que realmente se usa.
Nivel técnico
Profundizando
La dispersión puede ser de activación condicional (como en MoE, donde partes distintas del modelo se activan según la entrada) o de pesos (muchos pesos en cero tras poda). La primera reduce FLOPs por token; la segunda requiere soporte de hardware para traducirse en aceleración real (por ejemplo, patrones 2:4 en algunas GPUs).
¿Por qué importa?
Es una de las vías principales para escalar modelos de forma eficiente.
¿Dónde se utiliza?
- LLMs MoE
- Modelos podados para edge