VRAM
Memoria de video
En una frase
VRAM: la memoria propia de una GPU, donde deben caber los pesos del modelo y los datos intermedios durante el cómputo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Para que una GPU ejecute un modelo, el modelo tiene que caber en su memoria. Si un modelo necesita 40 GB y tu GPU tiene 24 GB, no cabe tal cual: necesitas otra GPU, repartirlo entre varias o comprimirlo con cuantización.
Por eso la VRAM suele ser el factor limitante al elegir hardware para IA.
Nivel técnico
Profundizando
En inferencia, la VRAM se ocupa con pesos (parámetros × bytes por parámetro), KV Cache (crece con la longitud del contexto y el tamaño del batch) y activaciones. En entrenamiento, además, gradientes y estados del optimizador (Adam guarda dos valores extra por parámetro), por lo que el entrenamiento completo requiere varias veces la memoria de los pesos. Las GPUs de centro de datos usan HBM, con ancho de banda de varios TB/s.
¿Por qué importa?
Determina qué modelos puedes ejecutar o entrenar en un hardware dado.
¿Dónde se utiliza?
- Elegir GPUs
- Planear despliegues
- Decidir cuantización
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.