Epoch
Época
En una frase
Epoch: una pasada completa del modelo por todo el dataset de entrenamiento.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si tu dataset es un libro de ejercicios, una época es resolverlo completo una vez. Los modelos suelen necesitar varias épocas para aprender bien, igual que repasar un tema varias veces.
Pero demasiadas épocas pueden llevar al Overfitting: el modelo memoriza el libro en lugar de aprender.
Nivel técnico
Profundizando
Una época se compone de N / B iteraciones, donde N es el tamaño del dataset y B el tamaño del Batch. Los LLMs grandes a menudo entrenan aproximadamente una época sobre su corpus (o pocas repeticiones de los datos de mayor calidad), porque el dataset es enorme. Se usa early stopping para detenerse cuando la pérdida de validación deja de mejorar.
¿Por qué importa?
Ayuda a razonar sobre cuánto se entrena y cuándo detenerse.
¿Dónde se utiliza?
- Planeación de entrenamientos
- Early stopping