Automated Machine Learning
Publicado: 14 Ago 2020, 22:57
Este concepto ha ido ganando importancia al ser comprendido como una forma de ahorrar tiempo y esfuerzo en tareas repetitivas como el preprocesamiento de datos, selección de modelos, optimización de parámetros y análisis de predicciones. Con el fin de lograr la automatización de estas actividades, estudios se han realizado en base a sus técnicas para evaluar el desempeño de cada una. Se utilizaron cinco herramientas para la experimentación: Darwin, Auto-sklearn, Auto-keras, Auto-ml, Ludwig, H2O-Automl y TPOT. Con un aproximado de 300 datasets y tres tipos de tareas que deberán realizar para evaluarlas: clasificación binaria, clasificación multiclase y regresión, dos métricas serán evaluadas, para las tareas de clasificación se tomará en cuenta la precisión y para la regresión el error medio cuadrático.
La primera categoría de comparación es el comportamiento con distintos segmentos de datos, en este caso se obtiene como resultado que H2O-Automl y Darwin presentan una ligera superioridad por sobre los demás. Con respecto a la evaluación de tiempos límite, aquí se determina que H2O-Automl, Auto-keras y Ludwig alcanzan su óptimo estado en menor tiempo que el resto. Por último, consistencia en resultados, H2O-Automl y Ludwig alcanzan un desempeño estable independientemente de la cantidad de datos que manejan.
Una de las áreas de aplicación de este tópico es el manejo de grandes cantidades de datos. Es así que se plantea el problema del manejo de la data proveniente de dispositivos de IoT, cuya industria se sabe se encuentra en crecimiento y desarrollo. La implementación de automated machine learning se presenta como una solución dado que se considera mejorará en gran manera el desempeño y productividad de los data scientists acelerando los ciclos de trabajo y mejorando la exactitud de los modelos predictivos.
En este caso, Decanter AI se presenta como el enfoque para poder abordar el problema al permitir analizar los datos usando técnicas de aprendizaje semi supervisado. Este se encuentra equipado con una gran cantidad de algoritmos de regresión, regularización, árboles, agrupación, entre otros, que facilitan la construcción automática de un modelo de acuerdo con el problema definido por el usuario. Considerando que el problema es el manejo de los datos, este buscará entre todos los posibles algoritmos el que mejor se adapte y permita realizar las mejores predicciones en términos de precisión. Otra característica que presenta esta técnica es la capacidad que posee de construir un modelo predictivo ensamblado, de tal forma que puede mejorarse constantemente a sí mismo para asegurarse de obtener un óptimo desempeño en cuanto a predicciones, logrando cambiar así su composición de acuerdo a las características de sus datos, considerando que estos pueden cambiar constantemente.
Para la parte experimental o aplicativa se recolectó data de aproximadamente 100 sensores ubicados en las distintas áreas de un edificio que indican la ocupación de cada una de ellas, esto con la finalidad de lograr predecir los estados de las áreas del próximo mes. Decanter AI fue implementado para la construcción del modelo, entrenamiento y posterior comparación de resultados con respecto a otros benchmarks. Tomando en cuenta tres principales métricas, su desempeño fue superior en cada una de ellas, especialmente en el tiempo de entrenamiento.
Conclusiones
De las herramientas de auto machine learning evaluadas, ninguna presenta un desempeño alto en todos los casos creados; sin embargo, para cada una existe una situación bajo ciertas condiciones en las que se desarrolla mejor.
Decanter AI puede reducir en gran manera el tiempo de procesamiento de datos e incrementar su eficiencia dadas sus características.
Se deberá seguir trabajando con el reconocimiento de patrones de data de IoT para encontrar el mejor proceso analítico para cada tipo y lograr un completo aprendizaje automatizado.
Referencias
Chung, C., Chen, C., Shih, W., Lin, T., Yeh, R. y Wang, I. (2017). Automated Machine Learning for Internet of Things. IEEE International Conference on Consumer Electronics.
Truong, A., Walters, A., Goodsitt, J., Hines, K., Bruss, C., Farivar, R. (2019). Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools. 2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI).
La primera categoría de comparación es el comportamiento con distintos segmentos de datos, en este caso se obtiene como resultado que H2O-Automl y Darwin presentan una ligera superioridad por sobre los demás. Con respecto a la evaluación de tiempos límite, aquí se determina que H2O-Automl, Auto-keras y Ludwig alcanzan su óptimo estado en menor tiempo que el resto. Por último, consistencia en resultados, H2O-Automl y Ludwig alcanzan un desempeño estable independientemente de la cantidad de datos que manejan.
Una de las áreas de aplicación de este tópico es el manejo de grandes cantidades de datos. Es así que se plantea el problema del manejo de la data proveniente de dispositivos de IoT, cuya industria se sabe se encuentra en crecimiento y desarrollo. La implementación de automated machine learning se presenta como una solución dado que se considera mejorará en gran manera el desempeño y productividad de los data scientists acelerando los ciclos de trabajo y mejorando la exactitud de los modelos predictivos.
En este caso, Decanter AI se presenta como el enfoque para poder abordar el problema al permitir analizar los datos usando técnicas de aprendizaje semi supervisado. Este se encuentra equipado con una gran cantidad de algoritmos de regresión, regularización, árboles, agrupación, entre otros, que facilitan la construcción automática de un modelo de acuerdo con el problema definido por el usuario. Considerando que el problema es el manejo de los datos, este buscará entre todos los posibles algoritmos el que mejor se adapte y permita realizar las mejores predicciones en términos de precisión. Otra característica que presenta esta técnica es la capacidad que posee de construir un modelo predictivo ensamblado, de tal forma que puede mejorarse constantemente a sí mismo para asegurarse de obtener un óptimo desempeño en cuanto a predicciones, logrando cambiar así su composición de acuerdo a las características de sus datos, considerando que estos pueden cambiar constantemente.
Para la parte experimental o aplicativa se recolectó data de aproximadamente 100 sensores ubicados en las distintas áreas de un edificio que indican la ocupación de cada una de ellas, esto con la finalidad de lograr predecir los estados de las áreas del próximo mes. Decanter AI fue implementado para la construcción del modelo, entrenamiento y posterior comparación de resultados con respecto a otros benchmarks. Tomando en cuenta tres principales métricas, su desempeño fue superior en cada una de ellas, especialmente en el tiempo de entrenamiento.
- tab1.jpg (22.67 KiB) Visto 2037 veces
De las herramientas de auto machine learning evaluadas, ninguna presenta un desempeño alto en todos los casos creados; sin embargo, para cada una existe una situación bajo ciertas condiciones en las que se desarrolla mejor.
Decanter AI puede reducir en gran manera el tiempo de procesamiento de datos e incrementar su eficiencia dadas sus características.
Se deberá seguir trabajando con el reconocimiento de patrones de data de IoT para encontrar el mejor proceso analítico para cada tipo y lograr un completo aprendizaje automatizado.
Referencias
Chung, C., Chen, C., Shih, W., Lin, T., Yeh, R. y Wang, I. (2017). Automated Machine Learning for Internet of Things. IEEE International Conference on Consumer Electronics.
Truong, A., Walters, A., Goodsitt, J., Hines, K., Bruss, C., Farivar, R. (2019). Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools. 2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI).