Throughput
Rendimiento de procesamiento
En una frase
Throughput: la cantidad de trabajo que un sistema procesa por unidad de tiempo, por ejemplo, tokens o solicitudes por segundo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si la latencia es qué tan rápido atiende un cajero a un cliente, el throughput es cuántos clientes atiende el banco por hora. Un servidor puede tener buena latencia individual pero bajo throughput, o al revés.
Nivel técnico
Profundizando
Existe un compromiso entre latencia y throughput: agrupar más solicitudes (Batching) aprovecha mejor la GPU y aumenta los tokens totales por segundo, pero puede alargar la espera de cada usuario. Se optimiza con continuous batching, gestión eficiente del KV Cache y paralelismo. Determina directamente el costo por token de un servicio.
¿Por qué importa?
Determina cuántos usuarios puede atender una infraestructura y cuánto cuesta cada respuesta.
¿Dónde se utiliza?
- Dimensionar servidores
- Procesamiento por lotes
- Planeación de costos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.