Troomes

A guide to Ensemble Learning.

Si bien los modelos básicos nos botan resultados certeros, estos seran debiles. Una combinación de estos modelos simples daria un modelo más robusto, más eficaz e imbatibles.
Actualmente se ha vuelto un concepto muy famoso, pues es muy utilizado en competiciones de ciencia de datos.

Existen diferentes técnicas de ensamblaje, pero entre los más comunes se tiene.
Lasso regression, GradientBoosting, XGBoost y lightGBM.
También existen diferentes formas de ensamblar, como
Averaging
Weighted Average
Bagging
Boosting
Stacking
Blending

En este artículo se pudo ver que existen diferentes formas de mejorar la precisión de los modelos, integrando modelos básicos, usando técnicas desde promediar hasta hacer mezclas y apilar modelos.
Entonces siempre habrá una manera de seguir optimizando nuestros modelos.

Fuente
https://towardsdatascience.com/a-guide- ... 686c9bed9a

Según algunos artículos para mejorar un algoritmo de aprendizaje y a la vez reducir la cantidad de variables se puede utilizar el cruce de atributos de dos algoritmos de selección de atributos como infoGain y Releif. Supongamos que tengamos 30 atributos y combinamos los 15 primeros de cada algoritmos podríamos generar 20 nuevos atributos para entrenar nuestro modelo y disminuir el tiempo de procesamiento.

Excelente articulo !Gracias por compartirlo!

Si one esta buscando algoritmos que hacen gradient boosting, recomiendo esta libraria: https://catboost.ai/

Nos ha dado buenos modelos. Maneja data categorica tanto como la continua muy bien. Muestra la importancia de cada variable en las predicciones. Es efficiente.

Hay otras librerias que tambien son muy buenas por supuesto (LightGBM, XGBoost, etc.)