21. Verificar lo que dice la máquina

Una respuesta no es un dato

Cuando una herramienta de IA responde una pregunta, resume un documento o clasifica un conjunto de registros, entrega un resultado que se parece mucho a un dato: tiene formato prolijo, está redactado con seguridad y muchas veces es correcto. Pero no es un dato observado, sino el producto de un modelo, y como todo producto de un modelo, puede estar equivocado.

Este capítulo propone mirar esas respuestas con los mismos ojos con los que la primera edición miraba una estimación. En Estimación puntual y por intervalos de confianza se decía que estimar es aproximar, y que la variación en el resultado de los estimadores juega un rol fundamental en la gestión de la incertidumbre. Con las respuestas de una máquina ocurre algo similar: no se trata de confiar o desconfiar en bloque, sino de medir cuánto acierta, en qué tareas y con qué variabilidad.

Por qué se equivocan

Los modelos de lenguaje generan texto eligiendo, palabra por palabra, continuaciones plausibles a partir de lo que aprendieron durante su entrenamiento. Esa forma de funcionar explica tanto su fluidez como su principal defecto: pueden producir afirmaciones plausibles pero falsas, como una cita que no existe, una cifra inventada o una función de una librería con un nombre que suena correcto. A este fenómeno se lo suele llamar alucinación.

Las causas son variadas y siguen siendo objeto de investigación. Un trabajo de 2025, por ejemplo, plantea que los propios procedimientos de entrenamiento y evaluación tienden a premiar que el modelo arriesgue una respuesta antes que reconocer que no sabe, del mismo modo que en un examen de opción múltiple sin penalización conviene contestar al azar antes que dejar en blanco. Más allá de las explicaciones, la consecuencia práctica es clara: el tono de una respuesta no dice nada sobre su exactitud.

La respuesta como una muestra

Una particularidad de estas herramientas es que, ante la misma pregunta, pueden dar respuestas distintas. Esto, que a primera vista desconcierta, admite una lectura estadística familiar: cada respuesta puede pensarse como una observación de una variable aleatoria, con su propia distribución.

Desde esa perspectiva, preguntar una sola vez equivale a sacar una muestra de tamaño uno. Si se repite la pregunta varias veces y las respuestas coinciden, hay cierta evidencia de estabilidad (aunque no necesariamente de exactitud: un modelo puede equivocarse de manera consistente). Si las respuestas varían mucho, esa dispersión es en sí misma una señal de que la herramienta no tiene una base sólida para responder. Las nociones de variabilidad vistas en Descripción de variables y de distribución muestral vistas en Probabilidad aplicada encuentran aquí una aplicación directa.

Construir un conjunto de evaluación

La herramienta más poderosa para verificar es también la más simple: un conjunto de casos cuya respuesta correcta se conoce de antemano. Por ejemplo, si se quiere usar un modelo para clasificar reclamos de clientes en categorías, se puede tomar una muestra de reclamos, clasificarlos manualmente con cuidado y comparar esa clasificación con la del modelo.

Esa comparación no es otra cosa que la matriz de confusión presentada en Regresión logística, con sus medidas asociadas: exactitud, sensibilidad, especificidad y precisión. Y como la muestra de evaluación es justamente eso, una muestra, los resultados están sujetos a error muestral: una exactitud del 90% medida sobre 20 casos dice mucho menos que la misma exactitud medida sobre 500. Lo visto en Técnicas de muestreo sobre tamaño y representatividad de la muestra aplica sin cambios: si los casos de evaluación son solo los fáciles, la medición será optimista.

Algunas recomendaciones para armar estos conjuntos:

  • Incluir casos difíciles y casos límite, no solo los típicos.
  • Separar la evaluación del ajuste. Si se modifican las instrucciones de la herramienta mirando los mismos casos con los que se evalúa, se corre el riesgo de sobreajustar, igual que con cualquier modelo.
  • Repetir la evaluación cada vez que cambia la herramienta, la versión del modelo o las instrucciones.

Comparar contra una referencia

Saber que una herramienta acierta el 85% de las veces no alcanza para decidir si conviene usarla: hace falta un punto de comparación. ¿Cuánto acierta un método más simple, como una regla basada en palabras clave? ¿Cuánto acierta una persona entrenada? ¿Cuál es el costo de cada tipo de error?

La lógica es la misma que la de un test de hipótesis: partir de una hipótesis nula ("la herramienta no es mejor que la alternativa simple") y evaluar si la evidencia permite rechazarla. Cuando se comparan varias alternativas a la vez, el razonamiento detrás del ANOVA o, si no se cumplen sus supuestos, de las técnicas de estadística no paramétrica como el bootstrap, permite hacerlo con criterio.

La máquina como evaluadora

Cuando las respuestas son textos largos (resúmenes, explicaciones, informes), evaluarlas manualmente es costoso. Una práctica cada vez más difundida es usar otro modelo como evaluador, pidiéndole que califique las respuestas según criterios definidos. Esta práctica puede ser útil, pero introduce una nueva fuente de error: el evaluador también tiene sesgos (por ejemplo, preferir respuestas más largas o con determinado estilo). Por eso, el evaluador también debe ser evaluado, comparando sus calificaciones con las de personas sobre una muestra de casos.

Exigir trazabilidad

Por último, una forma muy eficaz de verificar es pedir que la herramienta muestre de dónde sale cada afirmación: el código que produjo un número, la consulta que generó una tabla, el fragmento del documento que respalda un resumen. Un resultado trazable puede revisarse; uno que no lo es solo puede creerse o descartarse.

Recapitulando

Verificar lo que dice una máquina no requiere herramientas nuevas, sino aplicar las que este libro viene presentando desde la primera edición: pensar en términos de muestras y variabilidad, medir errores con una matriz de confusión, comparar contra una referencia con la lógica de un test de hipótesis. La estadística, que nació para razonar bajo incertidumbre, resulta ser la mejor aliada para trabajar con herramientas que la producen.

Para profundizar