Resumen
Partiendo de la base de que se calculó determinado estimador (es decir, se obtiene una aproximación de alguna característica de una variable), muchas veces lo que se busca es contrastar el resultado con alguna suposición acerca del valor real o quizás contra un valor dado por cierto. Esa puesta a prueba de lo conocido recibirá el nombre de test de hipótesis. El test de hipótesis, haciendo uso de la evidencia (datos) relevada, buscará rechazar (o no) lo que se considera verdadero hasta el momento. Cabe señalar que justamente así funciona la ciencia en términos conceptuales; por tanto, los tests de hipótesis son la herramienta por excelencia para la investigación científica.
Así como el cálculo de los estimadores, el resultado de un test de hipótesis dependerá de la calidad de los datos obtenidos, de la representatividad de la muestra. Esta obtención de datos debe ser aleatoria, al menos en algún punto del procedimiento general, y estará sujeta además a la suposición o no de que la variable (sobre la cual se testea) tenga determinada distribución. De no ser así, y al igual que con la estimación, se recurrirá a métodos no paramétricos.
Por otro lado, las pruebas estadísticas (otra denominación para los tests) variarán según se cuente con una o más muestras, una o más variables, variables independientes o apareadas (por ejemplo, la misma variable en dos momentos de tiempo diferentes), dispersión conocida o desconocida, entre otras cuestiones. Es una batería realmente extensa que difícilmente se pueda memorizar, con lo cual es recomendable más bien asimilar el reconocimiento de escenarios frente a los cuales se puede aplicar un test y luego indagar en cuál sería el más apropiado para el mismo. En ese sentido, es una aproximación similar a la de la visualización de datos, pero para la cual se deberá ser mucho más precavido ya que, siendo una herramienta crítica para la obtención de conclusiones, puede conducir a acciones incorrectamente fundamentadas.
Ampliación Significación estadística y significación práctica
Los tests de hipótesis son una herramienta central de la investigación científica, aunque no la única, y su uso aislado recibió críticas crecientes. En 2016, la American Statistical Association publicó una declaración con principios sobre el uso del p-valor, entre ellos: que no mide la probabilidad de que la hipótesis sea verdadera; que no mide el tamaño de un efecto ni la importancia de un resultado; y que las conclusiones y decisiones no deberían basarse solo en si el p-valor supera un umbral. De ahí se desprenden algunas prácticas que hoy se consideran básicas.
Reportar el efecto y su intervalo
El resultado principal de una comparación es el tamaño del efecto: la diferencia estimada en las unidades del problema (pesos, puntos porcentuales, minutos) o una medida estandarizada (como la d de Cohen), acompañada de su intervalo de confianza (ver Estimación puntual y por intervalos). El p-valor complementa, no reemplaza. Esto es especialmente importante con los volúmenes actuales: con muestras muy grandes, diferencias insignificantes en la práctica resultan estadísticamente significativas; con muestras chicas, efectos relevantes pueden no serlo. Por eso conviene definir antes de mirar los datos cuál es la mínima diferencia que tendría consecuencias prácticas.
Muchas pruebas, muchos falsos positivos
Con un nivel de significación del 5%, aproximadamente una de cada veinte comparaciones sin ningún efecto real resultará significativa por azar. Al probar muchas métricas, segmentos o variantes, encontrar "algo significativo" es casi seguro. Existen correcciones para comparaciones múltiples (Bonferroni, Holm) y procedimientos que controlan la proporción esperada de falsos descubrimientos (Benjamini-Hochberg). Un problema equivalente surge al mirar los resultados repetidamente mientras se recolectan datos y detenerse cuando conviene.
Planificar antes de analizar
- Fijar la hipótesis, la métrica principal y el análisis antes de ver los datos (en investigación, a través de un pre-registro).
- Calcular la potencia y el tamaño de muestra necesario para detectar la diferencia mínima relevante.
- Informar todas las pruebas realizadas, no solo las significativas.
Estas precauciones cobran más peso con asistentes de IA, que pueden ejecutar decenas de pruebas en segundos y devolver solo las que "dieron". La responsabilidad de saber cuántos análisis se hicieron y por qué sigue siendo del analista (ver Verificar lo que dice la máquina). La aplicación de todo esto a experimentos controlados en productos digitales se retoma en Del insight a la acción.
Para profundizar
- Decisiones en el campo de la estadística. Kelmansky, Estadística para todos, pág. 231 a 241.
- Pruebas de hipótesis de una muestra. Lind, Marchal y Wathen, Estadística aplicada a los negocios y la economía (15.ª ed.), pág. 333 a 346.
- Pruebas de hipótesis estadísticas. Canavos, Probabilidad y estadística. Aplicaciones y métodos, pág. 303 a 346.
- Hypothesis Testing for One-Sample Proportion. STAT 500: Applied Statistics, Penn State, lección 6, parte A.
- Hypothesis Testing for One-Sample Mean. STAT 500: Applied Statistics, Penn State, lección 6, parte B.
- Pruebas de hipótesis con una muestra. Introducción a la estadística, OpenStax, cap. 9.
Ampliación
- The ASA's Statement on p-Values: Context, Process, and Purpose. Wasserstein y Lazar, The American Statistician, 70(2), 2016.
- Improving Your Statistical Inferences. Daniël Lakens. Libro abierto sobre p-valores, tamaños de efecto, potencia y comparaciones múltiples.