Tensor Core
En una frase
Tensor Core: unidades especializadas dentro de las GPUs de NVIDIA que multiplican matrices pequeñas a gran velocidad y baja precisión.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Casi todo el trabajo de una red neuronal son multiplicaciones de matrices. Los Tensor Cores son circuitos diseñados solo para eso, y lo hacen muchas veces más rápido que los núcleos normales de la GPU.
Nivel técnico
Profundizando
Introducidos en la arquitectura Volta (2017), ejecutan operaciones de multiplicación y acumulación sobre bloques de matrices en formatos como FP16, BF16, TF32, FP8 e INT8, acumulando en mayor precisión. Aprovecharlos requiere dimensiones alineadas y precisión mixta. Son una razón central de las enormes mejoras de rendimiento en deep learning de las últimas generaciones de GPUs.
¿Por qué importa?
Buena parte de la velocidad de las GPUs modernas para IA viene de ellos.
¿Dónde se utiliza?
- Entrenamiento con precisión mixta
- Inferencia en FP8/INT8