Hardware
GPUs, TPUs, memoria y clusters: el hardware que hace posible entrenar y ejecutar modelos.
13 conceptos
Fundamentos
Nivel 1CPU
Unidad central de procesamiento
El procesador de propósito general de una computadora, optimizado para ejecutar tareas variadas de forma secuencial y flexible.
PrincipianteData Center
Centro de datos
Una instalación que aloja miles de servidores, con la energía, refrigeración y red necesarias para operarlos continuamente.
PrincipianteGPU
Unidad de procesamiento gráfico
Un procesador con miles de núcleos diseñado para hacer muchos cálculos en paralelo; es el hardware principal para entrenar y ejecutar modelos de IA.
Principiante
Intermedio
Nivel 2Compute
Cómputo
La cantidad de procesamiento que se usa para entrenar o ejecutar un modelo, normalmente medida en FLOPs o en horas de GPU.
IntermedioNPU
Unidad de procesamiento neuronal
Un procesador especializado en IA integrado en teléfonos, laptops y otros dispositivos para ejecutar modelos de forma eficiente.
IntermedioTPU
Unidad de procesamiento tensorial
Un chip diseñado por Google específicamente para acelerar cálculos de redes neuronales.
IntermedioTraining Cluster
Cluster de entrenamiento
Un conjunto de muchas computadoras con GPUs o TPUs conectadas por redes muy rápidas para entrenar modelos que no caben en una sola máquina.
IntermedioVRAM
Memoria de video
La memoria propia de una GPU, donde deben caber los pesos del modelo y los datos intermedios durante el cómputo.
Intermedio
Avanzado
Nivel 3CUDA
La plataforma de programación de NVIDIA que permite usar sus GPUs para cálculo general, incluida la IA.
AvanzadoFLOPs
Operaciones de punto flotante
Operaciones de punto flotante: la unidad para medir cuánto cálculo requiere un modelo (FLOPs) o cuánto puede hacer un chip por segundo (FLOP/s).
AvanzadoInference Server
Servidor de inferencia
El software que carga un modelo en el hardware y atiende solicitudes de muchos usuarios de forma eficiente.
AI EngineeringAvanzadoQuantization
Cuantización
Reducir la precisión numérica de los pesos (y a veces activaciones) de un modelo para que ocupe menos memoria y se ejecute más rápido.
AI EngineeringAvanzadoTensor Core
Unidades especializadas dentro de las GPUs de NVIDIA que multiplican matrices pequeñas a gran velocidad y baja precisión.
Avanzado