12. Tests de hipótesis

Resumen

Partiendo de la base de que se calculó determinado estimador (es decir, se obtiene una aproximación de alguna característica de una variable), muchas veces lo que se busca es contrastar el resultado con alguna suposición acerca del valor real o quizás contra un valor dado por cierto. Esa puesta a prueba de lo conocido recibirá el nombre de test de hipótesis. El test de hipótesis, haciendo uso de la evidencia (datos) relevada, buscará rechazar (o no) lo que se considera verdadero hasta el momento. Cabe señalar que justamente así funciona la ciencia en términos conceptuales; por tanto, los tests de hipótesis son la herramienta por excelencia para la investigación científica.

Así como el cálculo de los estimadores, el resultado de un test de hipótesis dependerá de la calidad de los datos obtenidos, de la representatividad de la muestra. Esta obtención de datos debe ser aleatoria, al menos en algún punto del procedimiento general, y estará sujeta además a la suposición o no de que la variable (sobre la cual se testea) tenga determinada distribución. De no ser así, y al igual que con la estimación, se recurrirá a métodos no paramétricos.

Por otro lado, las pruebas estadísticas (otra denominación para los tests) variarán según se cuente con una o más muestras, una o más variables, variables independientes o apareadas (por ejemplo, la misma variable en dos momentos de tiempo diferentes), dispersión conocida o desconocida, entre otras cuestiones. Es una batería realmente extensa que difícilmente se pueda memorizar, con lo cual es recomendable más bien asimilar el reconocimiento de escenarios frente a los cuales se puede aplicar un test y luego indagar en cuál sería el más apropiado para el mismo. En ese sentido, es una aproximación similar a la de la visualización de datos, pero para la cual se deberá ser mucho más precavido ya que, siendo una herramienta crítica para la obtención de conclusiones, puede conducir a acciones incorrectamente fundamentadas.

Ampliación Significación estadística y significación práctica

Los tests de hipótesis son una herramienta central de la investigación científica, aunque no la única, y su uso aislado recibió críticas crecientes. En 2016, la American Statistical Association publicó una declaración con principios sobre el uso del p-valor, entre ellos: que no mide la probabilidad de que la hipótesis sea verdadera; que no mide el tamaño de un efecto ni la importancia de un resultado; y que las conclusiones y decisiones no deberían basarse solo en si el p-valor supera un umbral. De ahí se desprenden algunas prácticas que hoy se consideran básicas.

Reportar el efecto y su intervalo

El resultado principal de una comparación es el tamaño del efecto: la diferencia estimada en las unidades del problema (pesos, puntos porcentuales, minutos) o una medida estandarizada (como la d de Cohen), acompañada de su intervalo de confianza (ver Estimación puntual y por intervalos). El p-valor complementa, no reemplaza. Esto es especialmente importante con los volúmenes actuales: con muestras muy grandes, diferencias insignificantes en la práctica resultan estadísticamente significativas; con muestras chicas, efectos relevantes pueden no serlo. Por eso conviene definir antes de mirar los datos cuál es la mínima diferencia que tendría consecuencias prácticas.

Muchas pruebas, muchos falsos positivos

Con un nivel de significación del 5%, aproximadamente una de cada veinte comparaciones sin ningún efecto real resultará significativa por azar. Al probar muchas métricas, segmentos o variantes, encontrar "algo significativo" es casi seguro. Existen correcciones para comparaciones múltiples (Bonferroni, Holm) y procedimientos que controlan la proporción esperada de falsos descubrimientos (Benjamini-Hochberg). Un problema equivalente surge al mirar los resultados repetidamente mientras se recolectan datos y detenerse cuando conviene.

Planificar antes de analizar

  • Fijar la hipótesis, la métrica principal y el análisis antes de ver los datos (en investigación, a través de un pre-registro).
  • Calcular la potencia y el tamaño de muestra necesario para detectar la diferencia mínima relevante.
  • Informar todas las pruebas realizadas, no solo las significativas.

Estas precauciones cobran más peso con asistentes de IA, que pueden ejecutar decenas de pruebas en segundos y devolver solo las que "dieron". La responsabilidad de saber cuántos análisis se hicieron y por qué sigue siendo del analista (ver Verificar lo que dice la máquina). La aplicación de todo esto a experimentos controlados en productos digitales se retoma en Del insight a la acción.

Para profundizar

Ampliación