Inference

Cada vez que le haces una pregunta a un chatbot, pides una traducción o tu teléfono reconoce tu cara, el modelo está haciendo inferencia: aplica lo que aprendió a un caso nuevo.

Durante la inferencia el modelo normalmente no aprende: sus pesos se quedan fijos.

La inferencia es un forward pass: se evalúa f(x; θ) con parámetros fijos. En LLMs es autoregresiva: el modelo genera un Token a la vez, y cada token nuevo se añade a la entrada para producir el siguiente. Dos fases la dominan: prefill (procesar el prompt completo en paralelo) y decode (generar token por token, limitado por el ancho de banda de memoria).

Métricas clave: latencia, Throughput y costo por token. Técnicas como KV Cache, Batching, Quantization y Speculative Decoding la hacen más eficiente.

Es lo que pagan los usuarios y las empresas día a día. En un producto exitoso, el costo acumulado de inferencia puede superar al del entrenamiento.