Inference Server
Servidor de inferencia
En una frase
Inference Server: el software que carga un modelo en el hardware y atiende solicitudes de muchos usuarios de forma eficiente.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Tener un modelo no basta: hay que ponerlo a disposición de los usuarios. Un servidor de inferencia recibe las peticiones, las organiza, las ejecuta en las GPUs y devuelve las respuestas, idealmente rápido y sin desperdiciar hardware.
Nivel técnico
Profundizando
Implementan continuous batching, gestión del KV Cache (por ejemplo, PagedAttention en vLLM), streaming de tokens, Quantization, paralelismo de tensores entre GPUs, prompt caching y APIs compatibles con los estándares del mercado. Se monitorean métricas como TTFT, tokens/s, utilización de GPU y colas de espera.
¿Por qué importa?
Es la pieza que convierte un modelo en un servicio usable y rentable.
¿Dónde se utiliza?
- Servir modelos abiertos
- APIs internas
- Despliegues on-premise
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.