Dense Model
Modelo denso
En una frase
Dense Model: un modelo en el que todos los parámetros participan en el procesamiento de cada entrada.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es el diseño «clásico»: cada token pasa por todas las capas y todos los pesos. Es más simple de entrenar y servir que un modelo disperso, pero su costo crece directamente con su tamaño.
Nivel técnico
Profundizando
En un Transformer denso, el cómputo por token es aproximadamente 2 × (número de parámetros) FLOPs en el forward pass. Comparado con un MoE del mismo costo por token, un denso tiene menos parámetros totales pero usa menos memoria y tiene un comportamiento de entrenamiento más estable y predecible.
¿Por qué importa?
Sirve de referencia para comparar arquitecturas y costos.
¿Dónde se utiliza?
- La mayoría de modelos pequeños y medianos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- Sparse ModelUn modelo en el que solo una parte de sus parámetros se usa (o es distinta de cero) para procesar cada entrada.
- Mixture of ExpertsUna arquitectura que divide parte del modelo en varios «expertos» y activa solo algunos para cada token, logrando mucha capacidad con menor costo por consulta.