Batching

Una GPU es como un autobús: cuesta casi lo mismo llevar a una persona que a cuarenta. Agrupar solicitudes de distintos usuarios en un mismo «viaje» multiplica cuántas respuestas se generan con el mismo hardware.

El batching estático espera a llenar un lote; el continuous batching (o in-flight batching) inserta y retira solicitudes del lote en cada paso de decodificación, evitando que las respuestas cortas esperen a las largas. Es la técnica central de servidores de inferencia modernos. Las APIs también ofrecen modos «batch» asíncronos con descuento para trabajos que no requieren respuesta inmediata.

Es una de las principales razones por las que servir LLMs a escala es económicamente viable.