Latency

Es cuánto esperas. En un chatbot importan dos momentos: cuánto tarda en aparecer la primera palabra y a qué velocidad aparecen las siguientes. Una respuesta brillante que tarda 30 segundos puede ser peor experiencia que una buena que tarda 2.

En LLMs se mide con TTFT (time to first token, dominado por la fase de prefill del prompt) y TPOT o latencia entre tokens (dominada por la decodificación, limitada por el ancho de banda de memoria). La latencia total ≈ TTFT + tokens_generados × TPOT. Factores: tamaño del modelo, longitud del prompt, carga del servidor, red y el razonamiento extendido. Se reduce con modelos más pequeños, Quantization, KV Cache, prompt caching y Speculative Decoding.

Define si una aplicación de IA se siente instantánea o lenta.