Mixture of Experts (MoE)

Imagina un hospital con muchos especialistas. Un paciente no pasa por todos: una recepcionista (el Router) lo envía a los dos más adecuados. Así, el hospital tiene muchísimo conocimiento total, pero cada consulta solo ocupa a unos pocos médicos.

Un modelo MoE puede tener cientos de miles de millones de parámetros, pero usar solo una fracción en cada token.

En un Transformer MoE, la capa feedforward se reemplaza por N expertos (FFNs independientes) y un Router que calcula puntuaciones y envía cada token a los k mejores (típicamente k = 1 o 2). La salida es la suma ponderada de los expertos elegidos. Esto desacopla los parámetros totales de los parámetros activos por token, que determinan el costo de cómputo.

La idea moderna viene de Shazeer et al. (2017); Switch Transformer (Fedus et al., 2021) la simplificó con top-1. Retos: balancear la carga entre expertos (pérdidas auxiliares), inestabilidad de entrenamiento y la memoria necesaria para alojar todos los expertos aunque no se usen a la vez. Se reporta que varios modelos de frontera y abiertos recientes usan MoE.

Permite escalar la capacidad de los modelos sin que el costo de inferencia crezca en la misma proporción.