Data Contamination
Contaminación de datos
En una frase
Data Contamination: cuando los datos de evaluación aparecen (total o parcialmente) en los datos de entrenamiento, inflando artificialmente los resultados.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Si un estudiante vio el examen antes de presentarlo, su calificación no mide lo que sabe. Con los LLMs pasa algo parecido: como se entrenan con enormes porciones de internet, pueden haber «visto» las preguntas de un benchmark público.
Nivel técnico
Profundizando
Se detecta buscando coincidencias de n-gramas entre corpus y benchmark, comparando el rendimiento en preguntas publicadas antes y después de la fecha de corte, o midiendo si el modelo puede completar textualmente las preguntas. Mitigaciones: benchmarks privados o renovados periódicamente, versiones reformuladas y evaluación con datos propios. En ML clásico, la data leakage también incluye usar información del futuro o de la etiqueta en las features.
¿Por qué importa?
Explica por qué los resultados de benchmarks deben leerse con cautela.
¿Dónde se utiliza?
- Diseño de benchmarks
- Auditoría de resultados