Validar es poner a prueba
Validar el trabajo de un agente es contrastar lo que entrega contra comprobaciones definidas de antemano, antes de usarlo. Una tabla cargada, un modelo ajustado, un informe con cifras: nada de eso pasa a ser un insumo para decidir hasta que supera un conjunto de pruebas que alguien fijó antes de ver el resultado.
En Tests de hipótesis se describía la puesta a prueba de lo conocido, haciendo uso de la evidencia, como la forma en que funciona la ciencia. Validar el trabajo de un agente es la misma operación aplicada a un caso más chico: se parte de una afirmación (el resultado es correcto) y se busca evidencia que permita rechazarla. Lo que cambia es el punto de partida. El trabajo de un agente no se cree hasta que se valida, y no al revés. Este capítulo presenta lo que mide la investigación sobre el efecto de validar, cómo leer esas cifras con las herramientas de este libro y dónde conviene ubicar las pruebas.
Lo que mide la investigación
Dos trabajos recientes dan cifras concretas, y conviene conocerlas con su contexto.
El primero es AutoKaggle (Li et al., 2024), un sistema de varios agentes que resuelve competencias de Kaggle con datos tabulares: limpieza, ingeniería de variables, modelado y envío de predicciones. Entre sus herramientas incluye pruebas unitarias que se ejecutan sobre el código y los datos de cada etapa (valores faltantes, valores atípicos, duplicados y otros problemas de consistencia). Al quitar esas pruebas y dejar todo lo demás igual, la tasa de completitud promedio cayó de 0,85 a 0,10, es decir, del 85% al 10% de las corridas. Los autores lo resumen diciendo que, sin pruebas unitarias, completar las tareas se vuelve casi imposible.
El segundo es un estudio de escalado de Google Research, Google DeepMind y el MIT (Kim et al., 2025), que comparó 260 configuraciones de sistemas de agentes en seis conjuntos de tareas, con cinco arquitecturas y tres familias de modelos. Una de sus medidas es un factor de amplificación de errores: cuánto se multiplican los errores al pasar de un agente solo (factor 1) a varios. Con agentes independientes, que trabajan en paralelo y cuyas salidas se juntan sin ninguna validación cruzada, el factor fue de 17,2. Con una arquitectura centralizada, donde un orquestador recibe el trabajo de los demás y lo verifica antes de juntarlo, fue de 4,4. Cabe señalar que esa medida se toma sobre las trazas de ejecución; el propio trabajo informa otra, sobre el error en el resultado final de la tarea, donde las diferencias entre arquitecturas son mucho menores (entre 1,1 y 1,3 veces). La dirección coincide; la magnitud depende de qué se mida.
Leer esas cifras con ojos de estadística
Las cifras de un trabajo de investigación son, también, estimaciones, y merecen el mismo tratamiento que cualquier otra (ver Estimación puntual y por intervalos de confianza).
La comparación de AutoKaggle se hizo sobre 4 tareas. Si, como en el resto de los experimentos del trabajo, cada tarea se repitió 5 veces, son 20 corridas por condición: 17 completas con pruebas y 2 sin ellas. Con tan pocas observaciones, un intervalo de confianza del 95% (calculado con el método de Wilson, más adecuado que la aproximación normal cuando la muestra es chica o la proporción está cerca de 0 o de 1) va aproximadamente de 0,64 a 0,95 con pruebas y de 0,03 a 0,30 sin ellas. Los intervalos son anchos, pero no se superponen: el efecto es lo bastante grande como para notarse aun con una muestra chica. Lo que la muestra no garantiza es la generalidad. Las 4 tareas las eligieron los autores y no son una muestra aleatoria de todas las tareas de datos posibles, de modo que lo visto en Técnicas de muestreo sobre representatividad aplica sin cambios.
El mismo razonamiento vale para las mediciones propias. Decir que un agente "acertó 9 de 10 veces" no equivale a decir que acierta el 90%: con 10 casos, el intervalo de Wilson va aproximadamente de 0,60 a 0,98. Una tasa de éxito sin su intervalo es una muestra de tamaño chico presentada como un parámetro.
Una validación es un test
La analogía con un test de hipótesis no es solo una figura. Una comprobación sobre el trabajo de un agente tiene los mismos dos errores posibles:
- Rechazar un trabajo correcto (el equivalente al error de tipo I). Su costo suele ser retrabajo: el agente rehace algo que estaba bien.
- Aceptar un trabajo equivocado (el equivalente al error de tipo II). Su costo es una decisión tomada sobre datos falsos, y suele ser mucho mayor.
Una prueba que solo verifica que el archivo existe casi nunca rechaza nada, es decir, tiene muy poca potencia. Las pruebas con potencia son las que podrían fallar si el trabajo estuviera mal. Algunas que conviene tener siempre:
- Estructura. Columnas y tipos esperados, clave única, sin valores faltantes donde no corresponden.
- Conteos y totales de control. Las filas leídas deben ser iguales a las escritas más las descartadas, y un total en la tabla debe coincidir con el de la fuente.
- Reglas de negocio. Importes no negativos, fechas dentro del período, estados dentro de una lista cerrada.
- Recálculo independiente. Volver a ejecutar las consultas citadas en el informe sobre la misma versión de los datos, con el formato que se propone en Cada número con su fuente.
- Casos con respuesta conocida. Un conjunto de evaluación como el descripto en Verificar lo que dice la máquina.
Aparece además el problema de las comparaciones múltiples. Un agente puede ejecutar decenas de pruebas estadísticas en segundos y devolver solo las que dieron significativas; con un nivel del 5%, alguna lo será por azar. La validación debe exigir que el agente informe todas las pruebas que hizo, no solo las que le sirven a la conclusión.
Dónde poner al verificador
El estudio de escalado sugiere algo sobre la organización de las pruebas, y no solo sobre su contenido: los errores se contienen mejor con un punto central que verifica antes de juntar que con agentes que se controlan entre sí, o que no se controlan. En los términos de Agentes que analizan, ese punto es natural: el almacén central recibe cada cambio de cada agente y puede validarlo en la puerta (tipos, clave declarada, reglas de la tabla, un tope de borrados por envío) antes de aceptarlo, y devolverlo con el motivo cuando no pasa.
Dos salvedades. La primera es que el verificador también debe ser evaluado: si es otro modelo, tiene sus propios sesgos, y si es un conjunto de reglas, puede dejar afuera justo el error que importa. La segunda es que no todo se puede validar con un programa. Qué pruebas exigir para cada tabla, qué hacer cuando un trabajo falla varias veces y quién autoriza una excepción son decisiones de organización, que se desarrollan en el libro Business factories, del mismo autor.
Estimar el error, no solo aprobar o rechazar
Cuando el volumen es grande (miles de registros clasificados por un agente, por ejemplo), revisar todo a mano no es posible, y aprobar sin revisar no es aceptable. La salida es la de siempre: revisar una muestra aleatoria y estimar la tasa de error con su intervalo. Si el extremo superior del intervalo supera el error que se está dispuesto a tolerar, el lote no pasa, aunque la estimación puntual parezca buena. Es la lógica del muestreo de aceptación que se usa desde hace décadas en el control de calidad industrial, aplicada a un proceso que ahora ejecuta una máquina.
Recapitulando
La evidencia medida es consistente: sin pruebas, un sistema de agentes que trabaja con datos completó sus tareas en el 10% de las corridas en lugar del 85%, y los agentes independientes sin un verificador central multiplicaron sus errores 17,2 veces frente a 4,4 con uno. Leídas con las herramientas de este libro, esas cifras son estimaciones con su incertidumbre, y la misma mirada se aplica a la tasa de éxito de cualquier agente. Validar es hacer un test: con hipótesis fijada antes de mirar, con pruebas que tengan potencia, con todas las comparaciones informadas y con un intervalo en lugar de un número solo. La estadística vuelve a ser, a fin de cuentas, la herramienta para decidir cuánto creer.
Para profundizar
- AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions. Li, Zang, Ma et al., 2024. El trabajo cuya comparación con y sin pruebas unitarias se cita en este capítulo (tabla 3).
- Towards a Science of Scaling Agent Systems. Kim, Gu, Park et al. (Google Research, Google DeepMind y MIT), 2025. El estudio de escalado y su factor de amplificación de errores por arquitectura.
- Why Do Multi-Agent LLM Systems Fail?. Cemri, Pan, Yang et al., 2025. Una clasificación de las fallas de sistemas de varios agentes, entre ellas la verificación débil de las tareas.
- Data tests. Documentación de dbt. Cómo declarar pruebas de estructura y de reglas sobre las tablas de un almacén.
- Improving Your Statistical Inferences. Daniël Lakens. Libro abierto sobre potencia, tamaños de efecto y comparaciones múltiples.