Resumen
Estos modelos, aplicables tanto para regresión como para clasificación, son excelentes aproximaciones a los datos, sin contar necesariamente con conocimiento previo de su comportamiento ni realizar suposiciones acerca del modelo subyacente. Son útiles tanto en la etapa de exploración de datos como para construir modelos de base (porque en la práctica no son lo suficientemente performantes como para implementarse de manera productiva; por tanto, sirven como punto de comparación para construir modelos que los superen).
Al igual que la regresión lineal y logística, sus resultados son interpretables, aunque no cuentan con parámetros estimados que puedan analizarse posteriormente. Para el caso de los árboles de decisión, cuentan además con la ventaja de poder ingestar cualquier tipo de datos, ya que, en esencia, son reglas de "sí o no" en función del poder discriminativo de los datos disponibles. En ese sentido, siendo que dependen exclusivamente de los datos, son muy sensibles a la calidad de los mismos y además al azar respecto al punto de partida seteado por el analista. Por tanto, debe tenerse en cuenta no establecer conclusiones apresuradas solamente a partir de estos modelos.
Más adelante se verá que estos son bloques a partir de los cuales se pueden construir modelos más complejos (muy utilizados en la industria, como los random forests), con las mismas características, pero salvando las desventajas mencionadas.
Ampliación De la base al modelo que se compara de verdad
El "más adelante" que anuncia este capítulo no llegó a desarrollarse en la primera edición, y vale completarlo, porque los ensambles de árboles, en particular el gradient boosting, son hoy la referencia práctica para datos tabulares (filas y columnas, como los de la mayor parte de este libro).
Una escalera de modelos base
Un modelo nuevo debe superar a toda una escalera de alternativas más simples, evaluadas con la misma partición de validación cruzada y la misma métrica:
- Un predictor trivial: la media (regresión) o la clase más frecuente (clasificación).
- Un modelo lineal o logístico (ver Regresión lineal y Regresión logística).
- KNN y un árbol de decisión, como los de este capítulo.
- Un ensamble de árboles: random forest o gradient boosting.
Si un modelo complejo apenas mejora a uno lineal, la complejidad adicional (de mantenimiento, de explicación) rara vez se justifica.
Ensambles: bagging y boosting
Un random forest combina muchos árboles profundos, cada uno entrenado sobre una muestra bootstrap de los datos (ver Estadística no paramétrica) y con un subconjunto aleatorio de variables en cada división; promediar sus predicciones reduce la variabilidad que hace inestable a un árbol solo. El gradient boosting, en cambio, construye árboles poco profundos de manera secuencial, cada uno enfocado en corregir los errores del conjunto anterior. Sus implementaciones más difundidas (XGBoost, LightGBM, CatBoost y la de scikit-learn basada en histogramas) aceptan valores faltantes y, en varios casos, variables categóricas sin codificación previa. Los hiperparámetros principales son la tasa de aprendizaje, la profundidad de los árboles y la cantidad de árboles, que conviene fijar con detención temprana sobre datos de validación.
La evidencia a favor es sólida: un estudio comparativo de 2022 (Grinsztajn, Oyallon y Varoquaux), sobre 45 conjuntos de datos, encontró que los modelos basados en árboles seguían siendo los de mejor desempeño en datos tabulares de tamaño mediano (del orden de 10.000 observaciones) frente a las redes neuronales, aun sin contar su mayor velocidad.
El costo: la interpretabilidad
Un ensamble de cientos de árboles ya no se lee como un conjunto de reglas. Para entender qué aprendió se usan métodos que explican el modelo desde afuera, como la importancia por permutación o los valores SHAP. Cabe recordar que explican el modelo, no el fenómeno: una variable importante para predecir no es necesariamente una causa.
Con asistentes de IA, armar un pipeline de boosting lleva minutos (ver De copiloto a colega). El riesgo se desplaza a la evaluación: filtración de información del conjunto de prueba al de entrenamiento, validación mal planteada, comparaciones injustas. La escalera de modelos base y una partición de validación fija son la mejor defensa (ver Verificar lo que dice la máquina).
Para profundizar
Conceptos generales
- Model-Agnostic Methods. Interpretable Machine Learning, Christoph Molnar, «Methods Overview».
- Example-Based Explanations. Interpretable Machine Learning, Christoph Molnar, «Methods Overview».
KNN
- K-Nearest Neighbors. An Introduction to Statistical Learning (2.ª ed.), James, Witten, Hastie y Tibshirani, pág. 39 a 42.
- Nearest Neighbors. Guía de usuario de scikit-learn.
- The k-Nearest Neighbors (kNN) Algorithm in Python. Real Python.
- Comparison of Linear Regression with K-Nearest Neighbors. An Introduction to Statistical Learning (2.ª ed.), James, Witten, Hastie y Tibshirani, pág. 105 a 110.
CART
- Decision Tree. Interpretable Machine Learning, Christoph Molnar, cap. 9.
- Tree-Based Methods. An Introduction to Statistical Learning (2.ª ed.), James, Witten, Hastie y Tibshirani, pág. 327 a 339.
- Decision Trees. Guía de usuario de scikit-learn.
Ampliación
- Tree-Based Methods. An Introduction to Statistical Learning (2.ª ed.), James, Witten, Hastie y Tibshirani, cap. 8.2: bagging, random forests y boosting.
- Ensembles: Gradient boosting, random forests, bagging, voting, stacking. Guía de usuario de scikit-learn.
- XGBoost: A Scalable Tree Boosting System. Chen y Guestrin, 2016.
- Why do tree-based models still outperform deep learning on tabular data?. Grinsztajn, Oyallon y Varoquaux, 2022.
- Permutation Feature Importance y SHAP. Interpretable Machine Learning, Christoph Molnar.