GPU

Las GPUs se inventaron para videojuegos: calcular el color de millones de píxeles al mismo tiempo. Resulta que las redes neuronales necesitan exactamente eso: millones de multiplicaciones simples en paralelo.

Por eso las GPUs se convirtieron en el motor de la IA. Una CPU es como un chef experto; una GPU es como una cocina con miles de ayudantes haciendo la misma tarea a la vez.

Las GPUs ejecutan miles de hilos en paralelo (modelo SIMT) y, en generaciones recientes, incluyen Tensor Cores especializados en multiplicación de matrices a baja precisión. Su memoria (VRAM, típicamente HBM en centros de datos) tiene un ancho de banda muy alto, crucial porque la inferencia de LLMs suele estar limitada por memoria, no por cálculo. El ecosistema de software (CUDA y librerías como cuDNN) es una parte central de su ventaja. Para modelos grandes se conectan muchas GPUs mediante interconexiones rápidas en clusters.

La disponibilidad de GPUs condiciona quién puede entrenar modelos, cuánto cuesta usarlos y qué tan rápido avanza la IA.