16. Regresión lineal

Resumen

La regresión lineal es uno de los modelos más ampliamente difundidos, utilizado para la estimación de una variable continua a partir de variables continuas y/o variables cualitativas (binarias). Implica, primeramente, la estimación de ciertos parámetros asociados a cada variable independiente, que constituyen una expresión matemática a partir de la cual, estimados esos valores, se llega a una aproximación de la variable dependiente.

Sobre esta aproximación, será relevante evaluar cuán cerca se encuentra de los valores efectivamente observados y si los residuos resultantes de esa evaluación presentan un comportamiento particular, lo cual será una señal de cuán bueno es dicho modelo, buscando ser una representación lo más completa posible del verdadero modelo que subyace a los datos.

Cabe destacar que, como todo modelo, es una simplificación matemática de la realidad, con lo cual no necesariamente se llegue a los resultados esperados. Las estimaciones pueden estar lejos de ser las observadas, posiblemente porque se está dejando de lado otras variables que tienen impacto o bien porque la naturaleza del fenómeno en sí no es lineal en sus parámetros (una incorrecta especificación del modelo), entre varias otras razones. Retomando lo dicho al principio, es un modelo ampliamente utilizado, pero no por eso de manera correcta. Los datos pueden presentar un conjunto de problemáticas tales como multicolinealidad, heterocedasticidad o autocorrelación, que deben abordarse debidamente y con ello ahorrar tiempo en concluir que el modelo de regresión lineal en verdad no será adecuado.

Se pueden encontrar implementaciones muy completas tanto en Python como en R, en múltiples librerías. En el ámbito de ciencia de datos / machine learning, es habitual el uso de scikit-learn (sklearn), considerado incluso un estándar en cuanto a su formato de construcción de modelos. Esta librería será justamente la que se utilizará de aquí en adelante para el resto de los capítulos.

Para profundizar

Conceptos generales

  • Relación entre variables. Kelmansky, Estadística para todos, pág. 168 a 196.
  • El estudio de la relación entre variables. Aguirre, Niño y Simonetti, Estadística aplicada en las ciencias sociales y humanas, pág. 105 a 130.

Regresión lineal

  • Regresión lineal y correlación. Lind, Marchal y Wathen, Estadística aplicada a los negocios y la economía (15.ª ed.), pág. 461 a 494.
  • Análisis de regresión múltiple. Lind, Marchal y Wathen, Estadística aplicada a los negocios y la economía (15.ª ed.), pág. 513 a 542.
  • Análisis de regresión: el modelo lineal simple. Canavos, Probabilidad y estadística. Aplicaciones y métodos, pág. 443 a 478.
  • Fundamentals of Data Visualization. Claus O. Wilke, parte I: cap. 12.
  • Linear Regression Foundations. STAT 500: Applied Statistics, Penn State, lección 9.
  • Linear Regression. Interpretable Machine Learning, Christoph Molnar, cap. 6.
  • Regresión lineal. Laboratorio de Datos, 1.er cuatrimestre 2021, UBA: clase 6.
  • Regresión lineal y correlación. Introducción a la estadística, OpenStax, cap. 12.

Implementación en Python