Scaling Laws
Leyes de escalamiento
En una frase
Scaling Laws: relaciones empíricas que describen cómo mejora el rendimiento de un modelo al aumentar sus parámetros, sus datos y su cómputo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Los investigadores descubrieron algo sorprendente: al aumentar el tamaño del modelo, la cantidad de datos y el cómputo, el error baja de forma muy predecible, siguiendo curvas casi exactas.
Eso permitió planear entrenamientos de cientos de millones de dólares con confianza: puedes estimar qué tan bueno será un modelo antes de entrenarlo, a partir de experimentos pequeños.
Nivel técnico
Profundizando
Kaplan et al. (2020) encontraron que la pérdida sigue leyes de potencia respecto a parámetros N, datos D y cómputo C, a lo largo de varios órdenes de magnitud. Hoffmann et al. (2022, «Chinchilla») revisaron el balance óptimo: para un presupuesto fijo de cómputo, conviene escalar parámetros y tokens aproximadamente en proporción (del orden de ~20 tokens por parámetro), lo que indicaba que muchos modelos previos estaban subentrenados. En la práctica, muchos modelos se entrenan con muchos más tokens de los «óptimos» para abaratar su inferencia.
Las leyes predicen la pérdida, no directamente capacidades concretas. Más recientemente se estudia el escalamiento del cómputo en inferencia y del aprendizaje por refuerzo.
Ver explicación matemática
Forma funcional usada en el análisis de Chinchilla.
Qué significa cada símbolo
- L
- Pérdida del modelo (menor es mejor)
- N
- Número de parámetros
- D
- Número de tokens de entrenamiento
- E
- Pérdida irreducible (entropía del lenguaje)
- A, B, α, β
- Constantes ajustadas empíricamente
¿Por qué importa?
Guían las decisiones de inversión más grandes de la industria de la IA.
¿Dónde se utiliza?
- Planeación de entrenamientos
- Predicción de rendimiento
- Asignación de presupuesto de cómputo
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- ParámetrosLos números internos de un modelo que se ajustan durante el entrenamiento y determinan su comportamiento.
- ComputeLa cantidad de procesamiento que se usa para entrenar o ejecutar un modelo, normalmente medida en FLOPs o en horas de GPU.
- PretrainingLa primera y más costosa fase de entrenamiento de un modelo fundacional, en la que aprende de enormes cantidades de datos sin etiquetar.