Training Compute-Optimal Large Language Models

Siguiendo a Kaplan et al., la industria había hecho modelos cada vez más grandes pero entrenados con más o menos la misma cantidad de texto (unos 300 mil millones de tokens). DeepMind se preguntó si ese reparto era realmente el óptimo.

1. 01

   Tres métodos, una conclusión

   Entrenaron más de 400 modelos, de 70 millones a más de 16 mil millones de parámetros, con 5 a 500 mil millones de tokens, y estimaron la frontera óptima de tres formas distintas. Las tres coincidieron.

2. 02

   Escalar parejo

   Por cada vez que se duplica el tamaño del modelo, hay que duplicar también los tokens de entrenamiento. En la práctica eso equivale a unos 20 tokens por parámetro.

3. 03

   Los modelos estaban subentrenados

   GPT-3, Gopher o Megatron-Turing tenían demasiados parámetros para los datos que habían visto: con el mismo cómputo habría sido mejor un modelo más pequeño entrenado con más texto.

4. 04

   Beneficio doble

   Un modelo más pequeño, además de ser mejor, es más barato de ajustar y de servir en inferencia, algo que importa tanto como el costo de entrenarlo.

• Chinchilla (70B) supera de forma consistente a Gopher (280B), GPT-3 (175B), Jurassic-1 (178B) y Megatron-Turing NLG (530B).
• 67.5 % de precisión promedio en MMLU, más de 7 puntos por encima de Gopher.

Cambió la forma de entrenar: LLaMA y los modelos siguientes priorizaron más datos sobre más parámetros. Con el tiempo, la industria llegó a entrenar «más allá de Chinchilla» (muchos más tokens por parámetro) porque abarata la inferencia, que es donde se gasta la mayor parte del cómputo.

• Scaling Laws
• Compute
• Parámetros
• Dataset
• Pretraining
• Inference