Dataset
Conjunto de datos
En una frase
Dataset: una colección organizada de ejemplos que se usa para entrenar, validar o evaluar un modelo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Un dataset es como el libro de ejercicios de un modelo. Puede ser una tabla con miles de casas y sus precios, un millón de fotos etiquetadas o billones de palabras de texto.
Normalmente se divide en tres partes: una para aprender (entrenamiento), otra para ajustar decisiones (validación) y otra que el modelo nunca ve hasta el final, para medir qué tan bien funciona (prueba).
Nivel técnico
Profundizando
La división train / validation / test existe para estimar la generalización: si evalúas con los mismos datos con los que entrenaste, medirás memoria, no aprendizaje. La validación se usa para elegir hiperparámetros (como la Learning Rate) y detectar Overfitting.
En LLMs se habla de corpus de preentrenamiento (texto masivo de la web, libros, código) y de datasets más pequeños y curados para Fine-Tuning o preferencias.
¿Por qué importa?
El dataset define lo que el modelo puede aprender y cómo se medirá su éxito.
¿Dónde se utiliza?
- Entrenamiento
- Validación de hiperparámetros
- Benchmarks
- Fine-tuning
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.