FLOPs
Operaciones de punto flotante
En una frase
FLOPs: operaciones de punto flotante: la unidad para medir cuánto cálculo requiere un modelo (FLOPs) o cuánto puede hacer un chip por segundo (FLOP/s).
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Cada suma o multiplicación de números con decimales es una operación de punto flotante. Contar cuántas hace un modelo permite comparar el costo de entrenar o usar modelos distintos. Un modelo grande puede requerir del orden de 10²⁴ o más operaciones para entrenarse.
Nivel técnico
Profundizando
Hay ambigüedad de notación: «FLOPs» (cantidad total) vs. «FLOPS» o FLOP/s (tasa por segundo, que mide el rendimiento del hardware). Para un Transformer denso, el forward pass cuesta ≈ 2N FLOPs por token y el entrenamiento ≈ 6N por token. La utilización real (MFU, model FLOPs utilization) suele estar muy por debajo del máximo teórico del hardware por cuellos de botella de memoria y comunicación.
¿Por qué importa?
Es la moneda común para comparar costos de modelos y capacidad de hardware.
¿Dónde se utiliza?
- Estimar costos de entrenamiento
- Comparar chips
- Regulación basada en umbrales de cómputo
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.