Las preguntas que no son técnicas
Los capítulos anteriores trataron sobre cómo usar herramientas de IA para analizar datos: cómo encargarles tareas, cómo consultar en lenguaje natural, cómo verificar sus resultados, cómo convertir textos e imágenes en variables y cómo generar datos sintéticos. Todos ellos suponen una pregunta previa que no es técnica: ¿corresponde hacerlo? ¿Pueden usarse estos datos para este fin? ¿Pueden enviarse a esta herramienta? ¿A quién puede perjudicar el resultado?
Estas preguntas existían antes de la IA, pero se volvieron más urgentes por dos razones. La primera es la escala: lo que antes requería semanas de trabajo manual hoy se hace en minutos, sobre millones de registros. La segunda es la distancia: muchas herramientas procesan los datos fuera de la organización, en servidores de terceros, y sus decisiones pueden ser difíciles de explicar. Este capítulo recorre tres ejes, la privacidad, el sesgo y la responsabilidad, con la misma mirada aplicada del resto del libro.
Datos personales
Buena parte de los datos que se analizan en las organizaciones refieren a personas: clientes, empleados, pacientes, estudiantes. En Argentina, su tratamiento está regulado por la Ley 25.326 de Protección de los Datos Personales, que establece, entre otros, principios de calidad de los datos (que sean adecuados y no excesivos en relación con la finalidad para la que se obtuvieron), de consentimiento, de información a los titulares, de seguridad y de confidencialidad, y que da un tratamiento especial a los datos sensibles. Otras jurisdicciones tienen normas propias, y conviene conocer las que aplican en cada caso.
Desde el punto de vista del análisis, de estos principios se desprenden algunas prácticas concretas:
- Minimizar. Usar solo las variables necesarias para responder la pregunta. Si el análisis es por región, no hace falta el domicilio exacto; si es por franja etaria, no hace falta la fecha de nacimiento.
- Respetar la finalidad. Que un dato esté disponible no significa que pueda usarse para cualquier propósito. Datos recolectados para gestionar un servicio no necesariamente pueden reutilizarse para otro fin.
- Agregar cuando sea posible. Muchas preguntas se responden con tablas de frecuencias o medidas resumen, sin necesidad de trabajar con registros individuales. Cabe señalar, sin embargo, que los grupos muy pequeños pueden permitir identificar a las personas que los componen.
- Seudonimizar con conciencia de sus límites. Reemplazar nombres por códigos reduce el riesgo, pero no lo elimina: la combinación de varias variables aparentemente inocuas (edad, localidad, ocupación) puede bastar para identificar a alguien.
Enviar datos a una herramienta externa
Cuando se usa una herramienta de IA alojada por un tercero, los datos que se le envían salen de la organización. Antes de hacerlo, conviene responder algunas preguntas: ¿quién procesa los datos y dónde?, ¿se conservan, y por cuánto tiempo?, ¿pueden usarse para entrenar otros modelos?, ¿qué dicen las condiciones contractuales y las políticas de la organización?
En muchos casos, la respuesta adecuada es no enviar los datos originales, sino una versión que no los exponga: datos agregados, seudonimizados, o una muestra sintética con la misma estructura (con los recaudos señalados en Datos sintéticos y simulación). Otra alternativa es pedirle a la herramienta el código para realizar el análisis y ejecutarlo localmente, de modo que los datos nunca salgan del entorno controlado.
El sesgo empieza en la muestra
En Técnicas de muestreo y en Origen y recolección de datos se insistía en la importancia de que la muestra sea representativa de la población. Esa exigencia cobra una dimensión nueva con los modelos: un modelo aprende de los datos con los que fue entrenado, y reproduce sus desequilibrios. Si ciertos grupos están subrepresentados en los datos, el modelo tenderá a funcionar peor para ellos; si los datos reflejan decisiones pasadas con sesgos, el modelo aprenderá a repetirlas.
Un caso muy citado es el de un estudio de 2018 que evaluó sistemas comerciales de clasificación de género a partir de fotos de rostros y encontró que los errores eran mucho más frecuentes en mujeres de piel oscura que en hombres de piel clara. Ninguno de esos sistemas había sido diseñado para discriminar; el problema estaba en los datos y en cómo se había evaluado su desempeño.
Medir el sesgo
La lección práctica de ese caso es que un indicador global puede ocultar diferencias importantes entre grupos. Una exactitud del 95% sobre el total puede ser el promedio de un 99% en un grupo y un 70% en otro. Por eso, al evaluar un modelo que afecta a personas, conviene calcular la matriz de confusión por separado para cada grupo relevante y comparar las tasas de error.
Cabe advertir que no existe una única definición de "modelo justo". Puede pedirse que la proporción de casos positivos sea igual entre grupos, que las tasas de falsos positivos sean iguales, o que la precisión lo sea, y en general no es posible cumplir todas esas condiciones a la vez. Elegir cuál priorizar es una decisión que depende del contexto y de las consecuencias de cada tipo de error, y no puede delegarse en el algoritmo.
Documentar
Una práctica que ayuda mucho es documentar los datos y los modelos de manera sistemática. Se han propuesto formatos específicos para ello: fichas que describen cómo se recolectó un conjunto de datos, qué contiene, para qué fue pensado y para qué no debería usarse; y fichas que describen un modelo, su uso previsto, cómo se evaluó y cómo se desempeña en distintos grupos. Más allá del formato, el objetivo es que cualquier persona que use esos datos o ese modelo conozca sus limitaciones sin tener que redescubrirlas.
La responsabilidad no se delega
Finalmente, el eje que atraviesa a los otros dos: las decisiones basadas en un análisis tienen responsables, y esos responsables son personas. Que un resultado haya sido producido por una herramienta de IA no traslada la responsabilidad a la herramienta.
Los marcos regulatorios y de referencia van en esa dirección. La Unión Europea aprobó en 2024 un reglamento sobre inteligencia artificial que clasifica los sistemas según su nivel de riesgo y establece obligaciones más estrictas para los de alto riesgo. El NIST de los Estados Unidos publicó un marco voluntario para gestionar riesgos de la IA, y la UNESCO adoptó una recomendación sobre la ética de la inteligencia artificial. Más allá de cuál aplique en cada caso, todos coinciden en algunos puntos: conocer los riesgos, documentar, supervisar y poder explicar.
Recapitulando
Privacidad, sesgo y responsabilidad no son temas accesorios que se tratan al final de un análisis, sino condiciones que se definen al principio: qué datos se usan, cómo se obtuvieron, a quién representan, adónde se envían y quién responde por las conclusiones. Las mismas herramientas estadísticas que este libro presenta para analizar datos sirven también para detectar cuándo un análisis puede perjudicar a alguien; usarlas con ese fin es parte del oficio.
Para profundizar
Normativa y marcos de referencia
- Ley 25.326 de Protección de los Datos Personales. Argentina.gob.ar.
- Reglamento (UE) 2024/1689 de Inteligencia Artificial. EUR-Lex.
- AI Risk Management Framework. NIST.
- Recomendación sobre la ética de la inteligencia artificial. UNESCO.
Sesgo y documentación
- Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Buolamwini y Gebru, 2018. El estudio mencionado en este capítulo.
- Fairness and Machine Learning: Limitations and Opportunities. Barocas, Hardt y Narayanan. Libro abierto sobre las definiciones de equidad y sus tensiones.
- Datasheets for Datasets. Gebru et al., 2018. Propuesta de fichas para documentar conjuntos de datos.
- Model Cards for Model Reporting. Mitchell et al., 2018. Propuesta de fichas para documentar modelos.