22. Agentes que analizan

Muchos agentes, muchas copias

Un agente de análisis es una herramienta de IA que recorre por su cuenta un tramo del análisis: consulta datos, escribe y ejecuta código, carga resultados y redacta conclusiones (ver De copiloto a colega). Cuando trabajan varios a la vez sobre las mismas fuentes, aparece un problema que los equipos de personas conocen bien y que los agentes vuelven mucho más frecuente: cada uno tiene su propia copia de los datos, y las copias divergen.

Este capítulo trata sobre cómo organizar los datos de un equipo de agentes. La propuesta tiene dos piezas: un almacén local por agente, para trabajar rápido y sin pisar a nadie, y un almacén central del equipo, que registra quién cargó qué, guarda la historia de cada tabla y define cómo se resuelven los choques. Lo que sigue es la parte técnica; el lado organizacional (qué rol cumple cada agente, quién aprueba qué y cómo se los dirige) se desarrolla en el libro Business factories, del mismo autor.

Un almacén local para cada agente

En Entorno de trabajo se presentaba a DuckDB como una forma de ejecutar SQL sobre archivos sin instalar un servidor. Esa misma propiedad lo vuelve adecuado para un agente: es una base de datos analítica embebida (corre dentro del mismo proceso que la consulta), columnar y sin red de por medio.

Sobre DuckDB, DuckLake agrega lo que una carpeta de archivos sueltos no tiene. Es un formato de tabla abierto (con licencia MIT) que guarda los datos en archivos Parquet y los metadatos (qué tablas existen, qué archivos las componen, qué cambió en cada versión) en una base de datos aparte, llamada catálogo. Cada carga queda registrada como una versión o snapshot, que puede llevar autor y mensaje, igual que un commit, y cualquier versión anterior puede consultarse con AT (VERSION => n). Si además cada tabla y cada columna llevan un comentario, un agente nuevo puede descubrir las tablas leyendo el catálogo.

El límite de un almacén local es evidente: lo que está en la carpeta de un agente no lo ve ningún otro, y en muchos entornos desaparece cuando termina la sesión que lo creó.

Un almacén central para el equipo

La segunda pieza es un almacén compartido, que en el ecosistema de DuckDB puede armarse con DuckLake sobre un catálogo en Postgres y los datos en un almacenamiento de objetos. Su función es responder tres preguntas:

  • Quién cargó qué. Cada cambio que llega al central es un snapshot con su autor y su mensaje. Cabe señalar que en DuckLake el autor es un texto que escribe quien hace el cambio, y nada lo autentica; por eso conviene que lo estampe el servicio que recibe los cambios, a partir de la identidad del agente, y no que lo declare el propio agente.
  • Cuál es la historia. Los snapshots permiten ver una tabla tal como estaba en cualquier momento.
  • Cómo se resuelven los choques. Cuando dos agentes cambian lo mismo, el central decide qué pasa, con reglas fijadas de antemano.

Lo importante es que los agentes no escriben directamente en el central. Trabajan en su copia local y un proceso de sincronización lleva y trae los cambios. La analogía con git es directa: es el mismo problema que resolvió el desarrollo de software con el código. Sin embargo, git no sirve para los datos en sí. El catálogo es un archivo binario, y cuando dos agentes cargan filas en el mismo turno y se intenta unir sus versiones, git responde Cannot merge binary files y deja a uno de los dos afuera. Las tablas necesitan unirse fila por fila, no archivo por archivo.

Clonar, empujar y traer

Las tres operaciones de git tienen su equivalente para tablas:

  • Clonar (clone). El agente recibe el esquema y las filas del central tal como están en un snapshot determinado, con sus columnas y comentarios, y anota ese número como su base.
  • Empujar (push). El agente envía solo lo que cambió desde su base. DuckLake ofrece para eso un registro de cambios entre snapshots (la función ducklake_table_changes), que devuelve las filas insertadas, las borradas y la imagen anterior y posterior de cada fila modificada. El central aplica todo en una sola transacción, de modo que cada push es un snapshot central con el agente como autor.
  • Traer (pull). El agente recibe lo que otros cambiaron desde su base y mueve su base hacia adelante.

Conviene que la sincronización la haga el entorno en momentos fijos (al abrir una sesión, al terminar cada tarea) y no el agente cuando le parece: así nada queda sin subir por olvido, y el agente no necesita las credenciales del central.

Cómo se resuelven los choques

Un choque ocurre cuando un agente intenta subir un cambio sobre datos que otro ya modificó. Cuatro reglas alcanzan para manejarlo con orden.

Una clave por tabla. En Datos, unidades y variables de análisis se definía al dato como el cruce entre una unidad de análisis y una variable. La clave es lo que identifica a la unidad: el id de un cliente, de un pedido, de una campaña. Sin una clave declarada no hay forma de saber si dos filas que llegan de agentes distintos hablan de lo mismo, y por tanto no hay regla de conflicto posible. Es el mismo requisito de una unión entre tablas (ver Manipulación de datos).

Un dueño por tabla. Cada tabla tiene un único agente, o un único grupo de agentes con la misma función, que puede escribirla; los demás la leen. Si dos funciones necesitan registrar datos sobre la misma entidad, son dos tablas con la misma clave, que se unen al analizar. El central rechaza cualquier escritura de quien no es dueño, y los choques entre funciones distintas desaparecen por construcción.

Rechazar por clave y rebasar. Dentro de un mismo dueño, varios agentes pueden trabajar a la vez. Un push se rechaza cuando otro agente cambió en el central alguna de sus claves después de la base; las claves que no se solapan pasan sin problema. Por ejemplo, un agente marca como perdido a un cliente potencial a partir de su copia, sin saber que otro acaba de marcarlo como calificado. El central rechaza el cambio e informa qué clave chocó y en qué snapshot cambió; el primer agente trae la versión nueva, ve el estado actual, decide y vuelve a subir.

Apartar, nunca pisar. El cambio rechazado no se pierde: queda guardado aparte, con un identificador, para que el agente (o una persona) lo revise. La alternativa habitual en las herramientas de sincronización, que la última escritura gana, habría borrado en silencio el calificado del otro agente, y nadie se habría enterado. Las tablas que solo agregan filas (eventos, mediciones, costos) no entran en conflicto, por lo que conviene modelar así todo lo que lo permita.

El catálogo define cuántos pueden escribir

En DuckLake, el tipo de catálogo determina cuántos procesos pueden escribir a la vez:

  • Catálogo en un archivo DuckDB. Solo un proceso puede adjuntarlo por vez (salvo que todos lo abran en modo de solo lectura). Si dos agentes intentan cargar datos en el mismo almacén local a la vez, el segundo falla de inmediato con un error de bloqueo (Could not set lock on file … Conflicting lock), y ni siquiera un lector puede adjuntarlo mientras el otro escribe.
  • Catálogo en SQLite. SQLite admite un solo escritor por vez, pero DuckLake reintenta los conflictos de bloqueo, lo que en la práctica permite que varios procesos locales escriban intercalados. En una prueba con dos procesos que cargaron a la vez 50 lotes de 20 filas cada uno, la tabla terminó con las 2.000 filas, sin pérdidas.
  • Catálogo en Postgres. Es el pensado para muchos usuarios, incluso remotos, y por eso es el del almacén central.

De ahí una regla simple: un archivo DuckDB para un único proceso, SQLite cuando varios procesos comparten una carpeta local, y Postgres para el central. Cabe señalar que DuckLake resuelve los choques entre escrituras simultáneas sobre un mismo catálogo (reintenta si los cambios son compatibles y aborta si no), pero eso no es reconciliar copias locales desactualizadas: a la fecha no trae clonar, empujar ni traer, ni ramas ni merge, y esa capa fina hay que construirla. Dolt sí trae el modelo de git completo, con merge celda por celda, aunque es una base de filas que sus propios autores no recomiendan para analítica a gran escala.

Recapitulando

Un equipo de agentes necesita lo mismo que un equipo de personas que comparte datos, solo que con más frecuencia. Cada agente trabaja en su almacén local, el equipo mantiene un almacén central, y entre ambos se clonan, empujan y traen cambios con autor y mensaje. Los choques se manejan con una clave por tabla, un dueño por tabla y una regla que rechaza, aparta y pide decidir, en lugar de pisar. DuckDB y DuckLake ofrecen el motor y la historia; la sincronización, a fin de cuentas, sigue siendo una pieza que el equipo debe poseer.

Para profundizar