Model Collapse
Colapso de modelos
En una frase
Model Collapse: la degradación que sufren los modelos generativos cuando se entrenan repetidamente con datos generados por otros modelos, perdiendo diversidad y calidad.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es como fotocopiar una fotocopia una y otra vez: cada copia pierde un poco de detalle. Si internet se llena de texto generado por IA y los modelos futuros aprenden de ese texto, podrían ir perdiendo los matices y la diversidad del lenguaje humano real.
Nivel técnico
Profundizando
Shumailov et al. (2023; publicado en Nature en 2024) mostraron que el entrenamiento recursivo con datos generados hace que las colas de la distribución original desaparezcan progresivamente: el modelo sobrerrepresenta lo más probable y olvida lo raro. Otros trabajos indican que el efecto se mitiga si los datos sintéticos se acumulan junto con datos reales en lugar de reemplazarlos. Es una consideración central al usar datos sintéticos.
¿Por qué importa?
Pone en valor los datos humanos originales y exige cuidado al entrenar con contenido generado por IA.
¿Dónde se utiliza?
- Diseño de pipelines de datos sintéticos
- Curación de corpus