Test-Time Compute
Cómputo en tiempo de inferencia
En una frase
Test-Time Compute: mejorar las respuestas de un modelo dándole más cómputo al momento de responder: pensar más, generar varias opciones o verificar.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Durante años, la forma principal de mejorar la IA fue entrenar modelos más grandes. El test-time compute propone otra palanca: dejar que el modelo piense más antes de responder. Igual que una persona responde mejor un problema difícil si tiene 10 minutos en vez de 10 segundos.
En 30 segundos
- 1Un problema difícil llega al modelo.
- 2En lugar de responder de inmediato, razona durante más tokens.
- 3Puede explorar varias soluciones y comparar.
- 4Verifica y corrige sus errores.
- 5Más cómputo al responder → mejor precisión (con rendimientos decrecientes).
Nivel técnico
Profundizando
Estrategias: cadenas de razonamiento largas entrenadas con RL (modelos de razonamiento), muestreo de múltiples respuestas con votación (self-consistency) o selección con un verificador o modelo de recompensa (best-of-N), y búsqueda sobre árboles de pasos guiada por process reward models. Snell et al. (2024) estudiaron cómo asignar óptimamente este cómputo y encontraron que, en ciertos problemas, puede ser más eficiente que escalar parámetros.
El resultado es una nueva dimensión de las leyes de escalamiento: el rendimiento mejora con el presupuesto de inferencia, a cambio de más latencia y costo por respuesta.
¿Por qué importa?
Cambió la economía de la IA: la calidad ya no depende solo del entrenamiento, sino también de cuánto «pensar» se paga en cada respuesta.
¿Dónde se utiliza?
- Matemáticas y ciencia
- Programación compleja
- Agentes que planifican
- Tareas de alto valor donde la precisión importa más que la velocidad
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- InferenceEl momento en que un modelo ya entrenado se usa para producir una respuesta a partir de una entrada nueva.
- Chain-of-ThoughtHacer que un modelo escriba sus pasos intermedios de razonamiento antes de dar la respuesta final.
- Reasoning ModelUn LLM entrenado para generar un proceso de razonamiento extenso antes de responder, lo que mejora su desempeño en problemas complejos.