Scaling Laws for Neural Language Models

Entrenar un modelo grande cuesta millones de dólares. Antes de gastar, los laboratorios necesitaban saber cuánto mejorarían con más parámetros, más datos o más cómputo, y cómo repartir un presupuesto fijo entre esas tres cosas.

1. 01

   Leyes de potencia

   Al graficar la pérdida contra N, D o C en escala logarítmica aparecen líneas rectas que se mantienen a lo largo de más de siete órdenes de magnitud. Eso permite extrapolar el rendimiento de modelos que todavía no existen.

2. 02

   La forma importa poco

   Con el número de parámetros fijo, cambiar profundidad, ancho o número de cabezas de atención apenas altera la pérdida dentro de rangos amplios. Lo que manda es el tamaño total.

3. 03

   Sobreajuste predecible

   Una ecuación sencilla describe cuánto sobreajusta un modelo según la relación entre su tamaño y los datos disponibles, y cuántos datos hacen falta para evitarlo.

4. 04

   Modelos grandes, entrenamiento corto

   Los modelos grandes aprenden más por cada ejemplo. Con cómputo fijo, la recomendación del paper era entrenar modelos muy grandes con relativamente pocos datos y detenerse antes de la convergencia.

• Tendencias estables de la pérdida en función de N, D y C a lo largo de más de siete órdenes de magnitud.
• Una regla para repartir el cómputo que priorizaba aumentar el tamaño del modelo más rápido que los datos (esta parte la corrigió Chinchilla).

Convirtió el escalamiento en una estrategia de inversión predecible y justificó la carrera por modelos cada vez más grandes, empezando por GPT-3. El concepto de «leyes de escala» se extendió después a imagen, código, razonamiento y cómputo en inferencia.

• Scaling Laws
• Compute
• FLOPs
• Parámetros
• Cross-Entropy
• Overfitting