Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

Hasta entonces, la forma principal de mejorar era entrenar modelos más grandes. Pero una persona dedica más tiempo a los problemas difíciles. ¿Cuánto puede mejorar un modelo fijo si se le da más cómputo en el momento de la inferencia, y cuándo conviene eso más que un modelo más grande?

1. 01

   Dos palancas

   Buscar: generar muchas soluciones y elegir con un verificador por pasos (best-of-N, beam search, lookahead). Revisar: que el modelo corrija iterativamente su propia respuesta.

2. 02

   Depende de la dificultad

   En preguntas fáciles conviene revisar secuencialmente la respuesta; en las difíciles, explorar en paralelo muchas alternativas. Ninguna estrategia gana siempre.

3. 03

   Estrategia óptima por prompt

   Estimando la dificultad de cada pregunta y eligiendo la estrategia en consecuencia, se obtiene el mismo rendimiento con unas 4 veces menos cómputo que best-of-N.

4. 04

   Intercambio con el preentrenamiento

   Con los mismos FLOPs totales, en problemas de dificultad baja o media sale más a cuenta un modelo pequeño que piensa más; en los más difíciles sigue ganando el preentrenamiento.

• Más de 4 veces de mejora en eficiencia frente a best-of-N con la estrategia óptima por prompt.
• Con FLOPs equivalentes, un modelo pequeño con más cómputo en inferencia supera a uno 14 veces más grande en problemas donde el pequeño ya tiene cierto éxito.

Dio fundamento empírico a la nueva ley de escala en inferencia que popularizaron o1, DeepSeek-R1 y los demás modelos de razonamiento: el presupuesto de «pensamiento» es ahora una perilla más, junto al tamaño del modelo.

• Test-Time Compute
• Scaling Laws
• Reasoning Model
• Reward Model
• Inference
• Compute