Batch
Lote
En una frase
Batch: un grupo de ejemplos que el modelo procesa juntos antes de actualizar sus parámetros.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
En lugar de corregir al modelo después de cada ejemplo, se le muestran, por ejemplo, 64 a la vez y se promedia el error. Es más rápido (las GPUs procesan muchos ejemplos en paralelo) y las correcciones son más estables.
Nivel técnico
Profundizando
El gradiente se estima como el promedio sobre el batch. Batches más grandes dan gradientes menos ruidosos y mejor uso del hardware, pero requieren más memoria y ajustar la Learning Rate. Cuando no cabe en memoria, se usa gradient accumulation. En inferencia, el Batching agrupa solicitudes de distintos usuarios para aumentar el Throughput.
¿Por qué importa?
El tamaño del batch afecta la velocidad, la memoria y la estabilidad del entrenamiento.
¿Dónde se utiliza?
- Entrenamiento en GPU
- Inferencia por lotes
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.