Synthetic Data
Datos sintéticos
En una frase
Synthetic Data: datos generados artificialmente —a menudo por otros modelos de IA— para entrenar o evaluar modelos.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Cuando faltan datos reales (por privacidad, costo o escasez), se pueden generar: un modelo escribe miles de ejercicios de matemáticas con solución, o se simulan escenarios de manejo para un auto autónomo.
Bien usados, los datos sintéticos multiplican los datos disponibles. Mal usados, amplifican los errores del modelo que los generó.
Nivel técnico
Profundizando
Métodos: generación con LLMs a partir de semillas y plantillas, auto-instrucción, reescritura de datos reales, simulación y generación con verificación automática (código que pasa pruebas, matemáticas comprobables). Trabajos como «Textbooks Are All You Need» (Gunasekar et al., 2023) mostraron que datos sintéticos de alta calidad pueden entrenar modelos pequeños competitivos. Riesgos: poca diversidad, errores sistemáticos y Model Collapse si se entrena recursivamente sin datos reales.
¿Por qué importa?
Es una estrategia clave ante la escasez de datos de alta calidad para seguir entrenando modelos cada vez más capaces.
¿Dónde se utiliza?
- Entrenamiento de razonamiento
- Datos de instrucciones
- Privacidad en datos médicos
- Simulación para robótica
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- Model CollapseLa degradación que sufren los modelos generativos cuando se entrenan repetidamente con datos generados por otros modelos, perdiendo diversidad y calidad.
- Scaling LawsRelaciones empíricas que describen cómo mejora el rendimiento de un modelo al aumentar sus parámetros, sus datos y su cómputo.