Resumen
La manipulación de datos (o data wrangling) implica la unión, transformación, agregación y/o filtrado de los datos, no necesariamente en ese orden. Es habitual encontrarse con el dicho de que el 80% del tiempo que dedica un analista de datos es a tareas relacionadas a esta cuestión, y posiblemente no sea una mala estimación.
Comenzando con la detección de valores faltantes (que no siempre significarán lo mismo), atípicos u outliers (que no necesariamente siempre lo serán) y registros duplicados (que no necesariamente siempre será incorrecto que estén duplicados), estos son solo los primeros pasos en una serie de tareas complejas tanto en lo técnico como en lo conceptual, que efectivamente demandan mucho tiempo. A ello se le sumará la necesidad de integrar diferentes fuentes de datos, realizando operaciones de unión y concatenación entre datasets (o tablas en una base de datos), y un anterior/posterior filtrado y/o agregación de los datos, no solo para resumir la información o trabajar con unidades de análisis diferentes, sino también quizás para la creación de nuevas variables y/o transformación de las ya disponibles (lo cual se conoce como feature engineering y merece un capítulo completo aparte).
Lo importante a señalar es que el proceso en sí (todas las operaciones realizadas) debe ser conocido y comprendido por el/la analista de datos, porque los resultados del análisis, principalmente cuando se trabaja con inferencia, dependerán fuertemente de lo realizado, por supuesto incluyendo el origen mismo de los datos.
En fin, en el mejor de los casos, dentro de las empresas/organizaciones con procesos de analítica bien consolidados, el rol del ingeniero/a de datos atacará estos aspectos y disponibilizará la información como se necesita. Sin embargo, más allá de que esto se cumpla, inevitablemente se requerirá de cierto grado de manipulación en los datos.
Actualización 2026 Contratos y tests de datos
El dicho del 80% no tiene una fuente verificable, y lo relevante no es la proporción exacta sino que este trabajo determina la validez de todo lo posterior. Lo que sí cambió desde la primera edición es dónde se hace y cómo se controla. En equipos con cierta madurez, buena parte de la limpieza y la unión de tablas pasó a transformaciones SQL versionadas, a cargo de un rol intermedio entre la ingeniería y el análisis (la ingeniería analítica). Y los asistentes de IA escriben hoy una parte importante del código de transformación (ver De copiloto a colega), con lo cual el cuello de botella se desplazó de escribir la transformación a verificar que sea correcta.
Tests de datos
Un test de datos es una afirmación sobre una tabla que se comprueba automáticamente cada vez que los datos se actualizan. Las más habituales son:
- Unicidad de la clave (cada pedido aparece una sola vez).
- Ausencia de nulos donde no deberían existir.
- Valores aceptados para variables categóricas (los estados posibles de un pedido).
- Integridad referencial: cada valor de una clave foránea existe en la tabla de referencia.
- Rangos y frescura: montos no negativos, fechas plausibles, datos actualizados a la fecha esperada.
dbt trae incorporados los cuatro primeros como tests genéricos; en Python, librerías como pandera o Great Expectations permiten declarar expectativas similares sobre un DataFrame. Un ejemplo directamente ligado a este capítulo: una unión entre tablas con claves duplicadas multiplica filas sin dar ningún error, y un test de unicidad posterior a la unión lo detecta antes de que el total de ventas aparezca inflado en un reporte.
Contratos de datos
Un contrato de datos es un acuerdo explícito entre quien produce un conjunto de datos y quien lo consume sobre su esquema (columnas y tipos), el significado de cada campo y las expectativas de calidad. Su valor es que un cambio que rompe el acuerdo (una columna renombrada, un tipo que cambia) falla del lado de quien lo produce, en lugar de aparecer semanas después como un número extraño en un análisis. Existen implementaciones concretas, como los contratos de modelos de dbt, y especificaciones abiertas, como el Open Data Contract Standard.
Las herramientas
pandas sigue siendo la referencia y la base de la bibliografía de este capítulo; Polars y DuckDB son alternativas cuando el volumen crece. Las verificaciones descriptas valen para cualquiera de ellas. Cabe agregar que un asistente de IA puede proponer tests a partir de un perfil de los datos, pero qué es un valor válido es una decisión del dominio, no de la herramienta. Los tests son, en definitiva, la forma de contrastar el código generado contra expectativas explícitas en lugar de revisarlo línea por línea (ver Verificar lo que dice la máquina).
Para profundizar
- Python for Data Analysis. Wes McKinney, cap. 7, 8 y 10.
- Encoding Categorical Predictors. Feature Engineering and Selection: A Practical Approach for Predictive Models, cap. 5.
- Engineering Numeric Predictors. Feature Engineering and Selection: A Practical Approach for Predictive Models, cap. 6.
- Handling Missing Data. Feature Engineering and Selection: A Practical Approach for Predictive Models, cap. 8.
- A Beginner's Guide to Clean Data.
Actualización 2026
- Add data tests to your DAG. Documentación de dbt.
- Model contracts. Documentación de dbt.
- Open Data Contract Standard. Proyecto Bitol.
- pandera. Documentación de pandera.
- Great Expectations. Documentación de Great Expectations.