Paper #07 · Eficiencia e ingeniería
DeepSeek-V3 Technical Report
Reporte técnico de DeepSeek-V3
- Autores:
- DeepSeek-AI
- Institución:
- DeepSeek
- Año:
- 2024 · arXiv:2412.19437
En pocas palabras
DeepSeek-V3 es un modelo MoE de 671 mil millones de parámetros que activa solo 37 mil millones por token. Alcanza un nivel comparable al de los mejores modelos cerrados con unos 2.8 millones de horas de GPU H800, muy por debajo de lo que se asumía necesario.
Por qué importa hoy: Manual moderno de ingeniería de frontera: MoE, MLA, routing, predicción multi-token, FP8 y entrenamiento distribuido eficiente.
El problema
Entrenar modelos de frontera parecía exigir presupuestos solo al alcance de unos pocos laboratorios. DeepSeek, con acceso a GPUs limitadas por restricciones de exportación, tuvo que optimizar cada capa: arquitectura, precisión numérica, comunicación y paralelismo.
Ideas clave
Multi-head Latent Attention (MLA)
Comprime las claves y valores de la atención en un vector latente pequeño. La KV cache ocupa mucho menos memoria, lo que abarata servir contextos largos.
DeepSeekMoE sin pérdida auxiliar
Usa muchos expertos pequeños más algunos expertos compartidos que siempre se activan. El balance de carga se logra ajustando un sesgo por experto en el router, sin la pérdida auxiliar que suele empeorar la calidad.
Predicción de varios tokens
Además del siguiente token, el modelo aprende a predecir los siguientes en cadena. Eso densifica la señal de entrenamiento y los módulos extra pueden reutilizarse para decodificación especulativa.
Entrenamiento en FP8
La mayor parte de las multiplicaciones se hace en precisión de 8 bits, con escalado fino por bloques para no perder exactitud. Reduce memoria y acelera el cómputo.
Ingeniería de sistemas
El algoritmo DualPipe solapa cómputo y comunicación entre GPUs, y kernels a medida aprovechan al máximo la red entre nodos. El entrenamiento completo no tuvo picos de pérdida irrecuperables ni retrocesos.
Resultados
- 671B de parámetros totales, 37B activos por token, preentrenado con 14.8 billones de tokens.
- Supera a los demás modelos abiertos de su momento y se acerca a los mejores cerrados en conocimiento, código y matemáticas.
- Costo total reportado de 2.788 millones de horas de GPU H800.
Legado
Demostró que la eficiencia de ingeniería puede sustituir en parte a la fuerza bruta. Fue la base de DeepSeek-R1 y popularizó técnicas (MLA, FP8, MoE de grano fino) que muchos laboratorios adoptaron después.
Conceptos para leerlo
Explicación original en español elaborada por AI Atlas; no es una traducción del paper. El texto completo pertenece a sus autores.