Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Los modelos densos usan todos sus parámetros para cada entrada, así que más capacidad significa proporcionalmente más cómputo. Mixture-of-Experts prometía romper esa relación, pero era complejo, inestable y costoso en comunicación entre máquinas.

1. 01

   Un solo experto por token

   Los trabajos previos enviaban cada token a los dos mejores expertos o más. Switch simplifica: el router elige solo uno (top-1). Menos cómputo, menos comunicación y una implementación más sencilla.

2. 02

   Balance de carga

   Si el router manda casi todo a unos pocos expertos, los demás quedan ociosos y los populares se saturan. Una pérdida auxiliar penaliza la distribución desigual, y una «capacidad» máxima por experto limita cuántos tokens recibe cada uno.

3. 03

   Estabilidad en baja precisión

   Calcular el router en float32 mientras el resto usa bfloat16, inicializar con valores más pequeños y regularizar a los expertos permitió por primera vez entrenar modelos dispersos grandes en baja precisión.

• Hasta 7 veces más rápido en preentrenamiento que T5-Base con los mismos recursos de cómputo.
• Mejoras sobre mT5-Base en los 101 idiomas evaluados.
• Modelos de hasta 1.6 billones de parámetros, con aceleración de 4 veces frente a T5-XXL.

Mixture-of-Experts es hoy la arquitectura dominante en los modelos de frontera: Mixtral, DeepSeek-V3, Qwen-MoE y, según se reporta, varios modelos cerrados. El dilema entre parámetros totales y parámetros activos que se discute hoy nace aquí.

• Mixture of Experts
• Router
• Sparse Model
• Dense Model
• Parámetros
• Compute