Datos que no fueron observados
En Origen y recolección de datos se dejaba planteada una idea que en su momento parecía un detalle: que una muestra no se obtiene solamente a partir de datos reales, sino que puede surgir de una simulación o de datos sintéticos, algo útil para la experimentación. Desde entonces, esa idea pasó a ocupar un lugar central. Los modelos generativos permiten producir tablas, textos e imágenes que imitan a los reales con un grado de verosimilitud que hace pocos años era impensable.
Este capítulo trata sobre qué son los datos sintéticos, para qué sirven y, sobre todo, qué no pueden hacer. Porque la facilidad para generarlos trae consigo una tentación peligrosa: la de tratarlos como si fueran observaciones del mundo.
Qué es un dato sintético
Un dato sintético es un dato generado por un modelo en lugar de ser observado directamente. Esa definición abarca un rango amplio de técnicas, algunas de las cuales ya aparecieron en este libro:
- Simulación a partir de distribuciones conocidas. Generar valores al azar de una distribución normal o binomial, como las vistas en Probabilidad aplicada, es la forma más antigua y transparente de producir datos sintéticos. Se sabe exactamente de qué proceso provienen.
- Remuestreo. El bootstrap genera nuevas muestras a partir de una muestra existente, sorteando observaciones con reposición. No inventa valores nuevos, pero sí nuevas combinaciones.
- Modelos estadísticos ajustados a datos reales. Se estima la distribución conjunta de las variables (incluidas sus relaciones) y luego se generan registros nuevos a partir de ella.
- Modelos generativos de IA. Modelos de lenguaje o de imágenes que producen ejemplos a partir de instrucciones, como encuestas ficticias, conversaciones de clientes o descripciones de productos.
Lo que todas estas técnicas tienen en común es que el dato sintético hereda las propiedades del modelo que lo generó, con sus aciertos y sus limitaciones.
Para qué sirven
Los datos sintéticos tienen usos legítimos y muy valiosos:
- Probar procesos. Antes de correr un análisis sobre datos reales, es útil verificar que el código funciona sobre datos con la misma estructura: mismas columnas, mismos tipos, casos raros incluidos.
- Compartir sin exponer. Cuando los datos originales contienen información personal, una versión sintética que conserve sus propiedades estadísticas puede permitir que otras personas trabajen con ellos. El capítulo Privacidad, sesgo y responsabilidad retoma este punto, con sus matices.
- Explorar escenarios. La simulación permite responder preguntas del tipo "¿qué pasaría si...?": cómo cambiaría un resultado si la demanda creciera, o qué tamaño de muestra haría falta para detectar una diferencia determinada con un test de hipótesis.
- Enseñar y aprender. Un conjunto de datos simulado, cuyo proceso generador se conoce, es ideal para comprobar si un método recupera los parámetros que se usaron para crearlo.
- Equilibrar clases poco frecuentes. En problemas de clasificación donde una de las categorías es muy rara, generar ejemplos sintéticos de esa categoría puede ayudar a entrenar un modelo, aunque con cuidado de no evaluarlo sobre esos mismos ejemplos.
Lo que no pueden hacer
La limitación fundamental es simple de enunciar: un dato sintético no contiene información sobre el mundo que no estuviera ya en el modelo que lo generó. Si el modelo se ajustó a una muestra de mil registros, generar un millón de registros sintéticos no produce un millón de observaciones: produce mil observaciones reformuladas muchas veces.
Esto tiene una consecuencia directa para la inferencia. Lo visto en Estimación puntual y por intervalos de confianza muestra que, cuanto mayor es la muestra, más precisas son las estimaciones. Pero esa relación vale para muestras aleatorias de la población, no para datos generados a partir de una muestra. Calcular un intervalo de confianza sobre un millón de registros sintéticos daría una sensación de precisión completamente falsa.
Algo similar ocurre con los datos generados por modelos de lenguaje. Pedirle a un modelo que "responda como lo haría un cliente de 40 años" puede producir respuestas verosímiles, pero esas respuestas reflejan lo que el modelo aprendió sobre cómo suelen escribir las personas, no lo que piensan los clientes reales de una organización determinada. Pueden servir para diseñar y probar un cuestionario; no reemplazan a la encuesta.
El riesgo de la recursión
Existe un fenómeno particularmente ilustrativo de estos límites. Investigaciones recientes mostraron que, cuando un modelo generativo se entrena con datos producidos por otros modelos, y esto se repite a lo largo de varias generaciones, la calidad se degrada: las colas de la distribución original desaparecen y los resultados se vuelven cada vez más homogéneos. A este fenómeno se lo denominó colapso del modelo.
Desde la perspectiva de este libro, la explicación es intuitiva. Cada generación de datos sintéticos es una muestra de un modelo que, a su vez, es una aproximación de los datos anteriores. Los valores extremos, por ser poco frecuentes, tienen menos probabilidad de aparecer en cada muestra, y lo que no aparece no se aprende. Generación tras generación, la dispersión se reduce, en el sentido estudiado en Descripción de variables. Lo raro, que muchas veces es lo más interesante, se pierde primero.
Cómo evaluar un conjunto sintético
Antes de usar datos sintéticos, conviene evaluarlos al menos en tres dimensiones:
- Fidelidad. ¿Se parecen a los datos reales? Pueden compararse las distribuciones de cada variable con tablas de frecuencias y medidas descriptivas, las relaciones entre variables (por ejemplo, con coeficientes de correlación) y, más formalmente, aplicar pruebas de bondad de ajuste como las vistas en Estadística no paramétrica.
- Utilidad. ¿Sirven para el propósito previsto? Una prueba habitual consiste en entrenar un modelo con los datos sintéticos y evaluarlo sobre datos reales: si el desempeño es similar al de un modelo entrenado con datos reales, el conjunto sintético conserva lo que importa para esa tarea.
- Privacidad. ¿Revelan información sobre personas reales? Un modelo generativo puede memorizar y reproducir registros del conjunto original, sobre todo los más inusuales. Verificar que no haya registros sintéticos idénticos o casi idénticos a registros reales es un control mínimo.
Cabe señalar que estas dimensiones suelen estar en tensión: cuanto más fiel es un conjunto sintético, más se parece a los datos reales y mayor es el riesgo de que revele información sobre ellos.
Recapitulando
Los datos sintéticos son una herramienta poderosa para probar, enseñar, compartir y explorar escenarios. Pero no son observaciones: son el reflejo de un modelo, y no pueden aportar información que ese modelo no tenga. Usados con conciencia de esa limitación, amplían lo que se puede hacer; tratados como si fueran datos reales, producen conclusiones con una precisión aparente que no tienen.
Para profundizar
- Synthetic Data: what, why and how?. Jordon et al., 2022. Un informe accesible sobre los usos, las técnicas y los límites de los datos sintéticos.
- AI models collapse when trained on recursively generated data. Shumailov et al., Nature, 2024. El trabajo que describe el colapso del modelo.
- On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. Long et al., 2024. Panorama sobre la generación de datos sintéticos con modelos de lenguaje.
- Synthetic Data Vault (SDV). Documentación de una librería de Python para generar y evaluar datos sintéticos tabulares.