Más allá de la celda
En Datos, unidades y variables de análisis se proponía pensar a un dato como aquello que puede colocarse dentro de una celda: un número, una letra, una palabra, un verdadero o falso. Esa definición sigue siendo útil, pero deja afuera una enorme cantidad de información que las organizaciones generan todos los días y que no entra cómodamente en una planilla: los comentarios de una encuesta, los correos de reclamo, las fotos de un relevamiento, las grabaciones de un centro de atención.
Durante mucho tiempo, analizar ese tipo de información requería leerla, mirarla o escucharla, y codificarla a mano, lo que limitaba el análisis a muestras pequeñas. Las herramientas de IA cambiaron esa situación de manera radical: hoy es posible convertir textos, imágenes y audios en variables a una escala antes impracticable. Este capítulo trata sobre cómo hacerlo con criterio.
El modelo como instrumento de medición
La idea central es simple: un modelo de IA puede funcionar como un instrumento de medición. Así como una balanza convierte un objeto en un número de kilogramos, un modelo puede convertir un comentario en una categoría ("reclamo por demora", "consulta de precio"), una valoración (positiva, neutral, negativa), una lista de temas mencionados o un monto extraído del texto.
El resultado de ese proceso es, otra vez, una matriz de datos: cada fila es una unidad de análisis (un comentario, una foto, una llamada) y cada columna, una variable obtenida a partir de ella. A partir de ahí, todo lo visto en la primera edición aplica sin cambios: tablas de frecuencias, medidas descriptivas, visualizaciones, tests y modelos.
Pero como todo instrumento de medición, el modelo tiene error. Y la calidad del análisis posterior depende de conocer ese error.
Codificar con criterio
Antes de pedirle a una herramienta que clasifique miles de textos, conviene hacer el trabajo que en las ciencias sociales se conoce como armar un libro de códigos: definir con precisión qué categorías existen, qué significa cada una y qué hacer con los casos dudosos. La condición que se pedía a las clases de una tabla de frecuencias vale también aquí: las categorías deben ser excluyentes (cada caso cae en una sola, o se define explícitamente que puede caer en varias). Y conviene sumarle otra: que sean exhaustivas, es decir, que todo caso tenga un lugar, aunque sea "otros".
Un procedimiento razonable es el siguiente:
- Definir las categorías y escribir sus criterios, con ejemplos.
- Codificar manualmente una muestra de casos, idealmente por más de una persona, para detectar ambigüedades en las definiciones.
- Aplicar el modelo a esa misma muestra y comparar sus resultados con la codificación manual, usando una matriz de confusión.
- Ajustar las definiciones o las instrucciones y repetir hasta que el nivel de acuerdo sea aceptable para el uso previsto.
- Recién entonces, aplicar el modelo al conjunto completo.
Este procedimiento no es una formalidad. Hay evidencia de que, para ciertas tareas de anotación de textos, los modelos conversacionales pueden igualar o superar a personas contratadas en plataformas de microtareas; pero eso depende de la tarea, de las definiciones y de los datos, y solo puede saberse midiendo en el caso concreto. Lo desarrollado en Verificar lo que dice la máquina se aplica aquí de manera directa.
Representar el significado con números
Además de clasificar, existe otra forma de convertir textos (e imágenes) en variables: los embeddings, o representaciones vectoriales. Un embedding asigna a cada texto una lista de números, de manera tal que textos con significados parecidos quedan representados por listas parecidas. No hace falta definir categorías de antemano: la similitud surge de la representación.
Con esa representación es posible, por ejemplo, encontrar los comentarios más parecidos a uno dado, agrupar automáticamente textos que hablan de lo mismo o usar esas columnas numéricas como variables de entrada de un modelo. La idea de "cercanía" entre observaciones ya apareció en KNN y CART: el algoritmo de los k vecinos más cercanos clasifica un caso según los casos más próximos. Los embeddings permiten aplicar esa misma lógica a objetos que antes no tenían una noción natural de distancia.
Cabe señalar una limitación: las dimensiones de un embedding no tienen, en general, una interpretación directa. Son útiles para medir similitud y alimentar modelos, pero no reemplazan a una variable definida explícitamente cuando lo que se necesita es explicar un resultado.
Imágenes y audio
Los mismos principios se extienden a otros formatos. En el caso del audio, los modelos de transcripción automática convierten una grabación en texto, que luego puede codificarse como se vio antes. En el caso de las imágenes, existen modelos capaces de describirlas, clasificarlas o relacionarlas con descripciones en lenguaje natural, lo que permite, por ejemplo, etiquetar fotos de un relevamiento según lo que muestran.
En ambos casos conviene recordar que cada paso de conversión agrega una capa de error: una transcripción con errores produce una codificación con errores, aunque el modelo de clasificación funcione perfectamente. Revisar una muestra de cada etapa intermedia es la forma de saber dónde se pierde la calidad.
El error de medición no desaparece
Supóngase que un modelo clasifica comentarios en "positivo" y "negativo" y que, sobre una muestra codificada a mano, se observa que tiende a confundir los comentarios irónicos con positivos. Si luego se calcula la proporción de comentarios positivos sobre el total, esa proporción estará sesgada hacia arriba. El error de medición no es ruido que se cancela; puede tener una dirección.
Por eso, al reportar resultados obtenidos de esta manera, es buena práctica informar también la calidad de la medición: cómo se validó, sobre cuántos casos y con qué nivel de acuerdo. Del mismo modo que una estimación sin intervalo de confianza dice poco, una proporción calculada sobre clasificaciones automáticas sin información sobre su exactitud debe leerse con cautela.
Recapitulando
La posibilidad de convertir textos, imágenes y audios en variables amplía enormemente lo que puede analizarse. Pero el principio es el mismo de siempre: un dato es el resultado de una medición, y toda medición tiene un error que conviene conocer. Definir bien las categorías, validar contra una muestra codificada con cuidado y reportar la calidad de la medición son las condiciones para que esa ampliación sea también una mejora.
Para profundizar
- The Illustrated Word2vec. Jay Alammar. Una introducción visual a la idea de representar palabras como vectores.
- ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks. Gilardi, Alizadeh y Kubli, 2023. El estudio sobre anotación de textos mencionado en este capítulo.
- Sentence Transformers. Documentación de una de las librerías más usadas para obtener embeddings de textos en Python.
- Robust Speech Recognition via Large-Scale Weak Supervision. Radford et al., 2022. El paper que presentó Whisper, un modelo abierto de transcripción de audio.
- Learning Transferable Visual Models From Natural Language Supervision. Radford et al., 2021. El paper que presentó CLIP, un modelo que relaciona imágenes y textos.
- Text as Data: A New Framework for Machine Learning and the Social Sciences. Grimmer, Roberts y Stewart, Princeton University Press, 2022. Un tratamiento riguroso del texto como fuente de datos en las ciencias sociales.