28. Del insight a la acción

El último tramo

En Conceptos y definiciones se describía al análisis de datos como una actividad que permite obtener conclusiones y traducirlas en recomendaciones o acciones, y que, enmarcada en un proceso de analítica, sirve para la toma de decisiones en las organizaciones. A lo largo del libro, sin embargo, el foco estuvo puesto casi siempre en la primera parte: cómo obtener, describir, inferir y modelar. El último tramo, el que va de una conclusión a una acción, quedaba fuera del alcance del análisis propiamente dicho.

Las herramientas de IA acortan ese tramo de manera notable. Un mismo sistema puede detectar un patrón, redactar una recomendación y, conectado a las herramientas adecuadas, ejecutarla: enviar una alerta, ajustar un precio, priorizar una lista de casos. Este capítulo, que cierra la parte nueva del libro, trata sobre qué hace falta para que ese paso, de la conclusión a la acción, se dé con fundamento.

Cerrar el circuito

Cuando el resultado de un análisis se convierte automáticamente en una acción, el análisis deja de ser un informe que alguien lee y pasa a ser parte de un sistema que actúa sobre el mundo. Y los sistemas que actúan tienen consecuencias que los informes no tienen: un error en un informe puede detectarse antes de que alguien lo use; un error en un sistema automatizado se repite cada vez que el sistema actúa.

Conectar un modelo con las herramientas que le permiten actuar (una base de datos, un sistema de gestión, un canal de mensajería) es hoy técnicamente sencillo, y existen incluso protocolos abiertos pensados para estandarizar esas conexiones. Precisamente por eso, la pregunta relevante deja de ser "¿se puede automatizar?" y pasa a ser "¿qué evidencia hace falta para hacerlo, y cómo se sabe si sigue funcionando?".

Decidir con incertidumbre

Toda conclusión obtenida a partir de datos tiene un grado de incertidumbre, como se vio desde Datos, unidades y variables de análisis en adelante. Al pasar a la acción, esa incertidumbre no desaparece: se convierte en riesgo. Algunas ideas de la primera edición son especialmente útiles para gestionarlo:

  • Intervalos, no solo puntos. Una estimación puntual dice cuál es el valor más probable; un intervalo de confianza dice cuán lejos podría estar. Una acción que solo conviene si el valor real está en el extremo optimista del intervalo es una apuesta, no una decisión fundada.
  • El punto de corte es una decisión. En Regresión logística se mencionaba que, para pasar de una probabilidad a una clasificación, suele usarse 0,5 como punto de corte, aunque pueden establecerse otros criterios. Al automatizar una acción, ese criterio deja de ser un detalle técnico: define cuántos falsos positivos y falsos negativos se aceptan.
  • Los errores no cuestan lo mismo. No es igual dejar de detectar un fraude que bloquear por error a un cliente legítimo. El punto de corte adecuado depende del costo relativo de cada tipo de error, algo que solo puede definirse con conocimiento del negocio.

Experimentar antes de automatizar

Un análisis sobre datos históricos puede mostrar que cierta acción está asociada a mejores resultados, pero eso no prueba que la acción los cause. Quizás los clientes que recibieron una oferta compraron más porque ya eran mejores clientes, y por eso se les envió la oferta. La forma más sólida de averiguar si una acción tiene el efecto esperado es probarla de manera controlada.

Un experimento controlado (en el ámbito digital se lo suele llamar test A/B) asigna al azar a las unidades de análisis a distintos grupos, aplica la acción solo a uno de ellos y compara los resultados. La asignación aleatoria es lo que permite atribuir la diferencia a la acción y no a otros factores. El análisis de esos resultados es exactamente lo visto en Tests de hipótesis y, si se comparan más de dos variantes, en ANOVA, cuyo propio planteo parte de experimentos con distintos tratamientos.

Cabe señalar que experimentar tiene sus propias exigencias: definir de antemano qué se va a medir, calcular el tamaño de muestra necesario para detectar una diferencia relevante y no detener el experimento apenas los resultados parecen favorables. Son las mismas precauciones de la estadística inferencial clásica, aplicadas a decisiones de todos los días.

Monitorear lo que se automatizó

Un modelo se ajusta con datos de un momento determinado, pero se usa en un mundo que cambia: los clientes cambian de hábitos, aparecen productos nuevos, se modifican las reglas. Con el tiempo, los datos sobre los que el modelo actúa pueden dejar de parecerse a los datos con los que fue construido, y su desempeño se degrada sin que nada lo anuncie.

Por eso, automatizar una acción no es el final del análisis, sino el comienzo de una tarea de seguimiento. Conviene monitorear al menos tres cosas: los datos de entrada (¿siguen teniendo distribuciones parecidas a las originales?), las decisiones del sistema (¿la proporción de casos clasificados de cada manera cambió bruscamente?) y los resultados (¿la acción sigue teniendo el efecto que se midió en el experimento?). Las herramientas descriptivas de la primera edición, como las tablas de frecuencias, las medidas resumen y los gráficos a lo largo del tiempo, son suficientes para buena parte de este seguimiento.

Las personas en el circuito

No todas las decisiones deben automatizarse en la misma medida. Un criterio útil es considerar dos dimensiones: cuánto daño puede causar un error y cuán fácil es revertirlo. Una recomendación de contenido equivocada se corrige sola en la próxima visita; una decisión sobre un crédito, un diagnóstico o una sanción afecta a una persona de manera mucho más seria y duradera.

Entre la automatización total y la decisión completamente manual hay muchos puntos intermedios: el sistema puede proponer y una persona aprobar, puede actuar solo en los casos claros y derivar los dudosos, o puede actuar con límites (de monto, de cantidad, de alcance) que una persona fija. Elegir el punto adecuado para cada decisión es, en sí mismo, parte del trabajo de análisis, y se apoya en todo lo visto en Privacidad, sesgo y responsabilidad.

Recapitulando

El valor de un análisis se realiza cuando se convierte en una buena decisión. Las herramientas de IA permiten recorrer ese último tramo con una velocidad inédita, y por eso mismo exigen más rigor, no menos: gestionar la incertidumbre en lugar de ignorarla, experimentar antes de automatizar, monitorear lo que se automatizó y reservar el juicio humano para lo que no se puede deshacer. Es, en definitiva, la misma estadística de siempre, puesta al servicio de la acción.

Para profundizar