• Dataset original:
  Link del dataset original : https://www.datosabiertos.gob.pe/datase ... del-empleo(se utilizará el archivo "Trabaja Perú: Proceso de Seguimiento Trabaja Perú")
  
  Los atributos se describen en la siguiente imagen:

  

  descripcionDataset.png (50.7 KiB) Visto 254 veces

• Dataser Procesado:
  En primer lugar, eliminamos la fecha de término ya que no hay ninguna instancia con ese dato llenado. Luego eliminamos los atributos irrelevantes como el id del convenio, el id de la actividad, la fecha de padrón , la fecha de elegibilidad, fecha de recibido y fecha de inicio.
  
  Nos quedamos con los siguientes atributos:

  

  atributosElegidos.png (14.15 KiB) Visto 254 veces

  El dataset limpio lo podemos ver a continuación:

  Procesos_Seguimiento_Trabaja_Peru_limpio.csv

  (798.4 KiB) Descargado 56 veces

• Determinando el número de clusters: Utilizamos el Elbow Method para hallar el número de clusters. Para ello utilizaré el programa "numberOfClusters.R" que está ubicado en mi ruta de github (ver final del post). Al trazar la gráfica podemos ver lo siguiente :
  

  

  elbowMethod.png (5.72 KiB) Visto 254 veces

  El momento en donde aparece un punto de quiebre dando la forma de un codo es aproximadamente 3, por lo que definimos K = 3 clusters
• Algoritmo KMeans para realizar el clustering
  En Weka primero normalizamos la data y luego corremos el algoritmo de KMeans con K = 3.
  
  Se tiene el siguiente resultado:

  

  KMeans.png (43.92 KiB) Visto 254 veces

  Podemos ver que la mayoría de instancias están en el cluster #2.
  Analicemos con mayor detalle los centroides. En la pantalla anterior no se puede apreciar muy bien debido a que uno de los valores de los atributos tienen un nombre muy largo, pero lo podemos ver en las siguientes pantallas:
  

  

  cluster0.png (10.41 KiB) Visto 254 veces

  

  cluster1.png (9.47 KiB) Visto 254 veces

  

  cluster2.png (10.91 KiB) Visto 254 veces

• El cluster 0 está centrado en la municipalidad de TamboGrande que se ubica en Piura y se realizan principalmente actividades de limpieza y mantenimiento de caminos con un monto asignado promedio de S/. 141 852
• El cluster1 está centrado en la municipalidad de Cutervo que se ubica en Cajamarca y se realizan principalmente actividades de limpieza de cauces y riachuelos con un monto asignado promedio de S/. 118 322
• El cluster2 está centro en la municipalidad de San Juan de Lurigancho que se ubica en Lima y se realizan principalmente actividades de limpieza y mantenimiento de infraestructura deportiva con un monto asignado promedio de S/. 146 739
  
  Podemos ver que las actividades encontradas muestran cierta relación con la ubicación geográfica que se halló en el cluster. Asímismo, los montos de dinero más grandes se encuentran asignados a las ciudades cerca a la capital (Lima) y los más pequeños a regiones de la sierra (Cajamarca). También se encontró que la mayoría de actividades de generación de empleo están en el cluster2 (71% de las instancias), es decir, probablemente los más cercanos a Lima.

• Dataset original:
  Link: https://www.datosabiertos.gob.pe/datase ... ministerio
  Tambien pueden ver el dataset en el .zip que subí en mi github (ver la última parte de este post)
  

  

  descripcionDataset.png (42.98 KiB) Visto 250 veces

• Dataser Procesado:
  Dentro del dataset existen ciertos caracteres especiales que van a impedir que podamos leerlo desde Weka. Existen los caracteres ‘ y “ . Por ejemplo, en P’aro cardiaco (probablemente por un error) y en Hepatitis “C”. Para resolver esto, creé un programa en Python (ver el archivo preprocess.py en el github en la parte final del post) que elimine esos caracteres especiales.
  
  Eliminaremos los registros que de defunción de antes del año 2020 ya que no había COVID en ese entonces. Eliminaremos el atributo fecha ya que basta con tener el año y el mes. Además eliminaremos el atributo 1 del identificador ya que no es relevante. También eliminaremos el atributo “TIEMPO EDAD” ya que nos quedaremos solo con las personas mayores a 1 año.
  
  En el dataset consideran que una muerte puede tener múltiples causas, pero para simplificar el modelo vamos a binarizar la data. Reemplazaremos los atributos 20 – 31 por la clase “MUERTE POR COVID” con posibles valores de “SI”, “NO”. Si algún paciente tiene alguna causa que contenga la palabra “COVID”, se le considerará el valor de la nueva clase como “SI”, caso contrario como “NO”.
  
  Por último, se eliminan aquellos registros que tengan algún atributo como “IGNORADO” o “NO REGISTRADO” (excepto cuando haya demasiada pérdida de data).
  
  De los atributos restantes seleccionamos los relevantes con Weka utilizando InfoGainAttributeEval:

  

  seleccionAtributos.png (59.89 KiB) Visto 250 veces

  Eliminamos los últimos 4 atributos
  
  Por último, balanceamos la data haciendo downsampling en ambas clases (ya que la cantidad de datos es demasiada y no habrá memoria suficiente para correr los algoritmos) y nos queda la siguiente distribución:

  

  balanceo.png (5.77 KiB) Visto 250 veces

  Finalmente el dataset limpio puede verse en este archivo:

  fallecidos_sinadef_limpio.csv

  (1.86 MiB) Descargado 64 veces

• Árbol de Decisión

  

  decisionTree.png (40.31 KiB) Visto 250 veces

• Random Forest

  

  randomForest.png (40.16 KiB) Visto 250 veces

• Bayes Net

  

  BayesNet.png (40.24 KiB) Visto 250 veces

• SVM

  

  SVM.png (41.41 KiB) Visto 250 veces

• Dataset
  Algunos datasets públicos son por ejemplo Change Detection Dataset, GTI Database, LISA Dataset. Muchos datasets tienen condiciones de iluminación muy buenas, pero por lo que se mencionó anteriormente, también sería bueno tener datos con algunas condiciones extremas, como baja iluminación (datos tomados en la noche), presencia de lluvia, niebla u otros factores climatológicos, etc. Sin embargo, hay que recalcar que esto también dificultad el etiquetado de los datos.
• Extracción de Características
  Existen muchos enfoques para poder abordar el problema de la detección de vehículos, pero muchos de ellos comparten como primer paso la extracción de ciertas características que, al procesarlas, puedan servir como input para algún algoritmo de machine learning. Entre ellas, en la literatura se citan el uso de Haar-Like features (relacionadas con los cambios de intensidades de brillo en la imagen), Histogram Of Gradient features (relacionadas a los bordes de los objetos), entre otras. Incluso es posible experimentar fusionando distintos tipos de características.
  

  

  HOG features.png (75.07 KiB) Visto 260 veces

• Algoritmos
  Una vez uno ha elegido las características a usar, lo siguiente es seleccionar porciones de la imagen, extraer las características que se crean pertinentes y pasar estas como input por algún algoritmo clasificador para determinar si es un vehículo o no. Algunos algoritmos de machine learning usados para esta última etapa son Support Vector Machine (SVM), Adaboost, Neural networks (NN), Convolutional Neural Networks (CNN), Region Based CNN (R-CNN), etc.
  
  Leung et al. utilizaron el algoritmo de Fast R-CNN . Este algoritmo se basa en analizar ciertas regiones de interés (ROI) de la imagen. Sin embargo, utiliza métodos eficientes para no tener demasiadas regiones que analizar. En cada región, utiliza redes neuronales convolucionales (CNN) para extraer las características respectivas de esa región. En la siguiente imagen se muestra un esquema general de esto:
  

  

  R-CNN.png (122.96 KiB) Visto 260 veces

  Los autores utilizaron las arquitecturas VGG16 y Resnet101 y utilizarn la técnica de transfer learning para partir de una red pre-entrenada y reducir el tiempo de entrenamiento. Utilizaron un learning rate inicial de 10^-3 que terminó en 10^-4 luego de 200 000 iteraciones
  Ellos utilizaron tensorflow y librerías como OpenCV.

Leung, H. K., Chen, X. Z., Yu, C. W., Liang, H. Y., Wu, J. Y., & Chen, Y. L. (2019). A Deep-Learning-Based Vehicle Detection Approach for Insufficient and Nighttime Illumination Conditions. Applied Sciences, 9(22), 4769. https://www.mdpi.com/2076-3417/9/22/4769

Yang, Z., & Pun-Cheng, L. S. (2018). Vehicle detection in intelligent transportation systems and its applications under varying environments: A review. Image and Vision Computing, 69, 143-154. https://www.sciencedirect.com/science/a ... 5617301592

• Dataset
  La mayoría de datasets de speech emotion recognition son actuados debido a que utilizar audios de conversaciones reales puede tener implicancias legales y éticas. Algunos datasets usados son IEMOCAP, RAVDESS, INTERFACE.
• Características acústicas
  Existen un gran número de características del audio que pueden ser usados como input para un algoritmo de machine learning. Algunas de ellas son por ejemplo el tono (pitch), la energía, la frecuencia, el formante, etc. También son muy usadas las características espectrales, entre las cuales se encuentra los Mel Frequency Cepstrum Coefficients (MFCC).
• Algoritmos
  Una vez seleccionadas las características a usar, se puede utilizar algoritmos de machine learning para poder hacer la clasificación final. Algunos de los algoritmos que se citan en la literatura son Hidden Markov Model, Gaussian Mixture Models, Support Vector Machine, Neural Networks y k-NN.
  En un intento de mejorar la precisión del reconocimiento, algunos autores combinan las características acústicas con el contenido lingüístico del discurso. Un esquema podría ser el siguiente:
  

  

  procedimiento.png (48.37 KiB) Visto 237 veces

  En este caso, se debe entrenar un modelo para poder obtener las palabras utilizadas y también las emociones que involucra cada palabra. Luego se debe combinar este resultado con el obtenido con las características acústicas para poder obtener el resultado final.
  
  Por ejemplo, Tripathi et al. utilizan Redes neuronales convolucionales para poder relacionar las palabras con las emociones. Para ello utilizan un diccionario de palabras que están agrupadas según las emociones que transmiten. Esto les permite obtener un denominado "word embeddings" a partir de cada secuencia de palabras, lo cual representa un vector de números enteros que codifica, de cierta forma, la información necesaria de las palabras. Esta conversión le permite pasar estos "words embeddings" como inputs para la red neuronal. Los autores utilizan los word embeddings de Google denominados "Google Word2Vec".
  Ellos también hacen una red neuronal para las características acústicas con MFCC para finalmente fusionar la información lingüística con la acústica en una última capa de la red neuronal. Los autores en la red neuronal utilizaron técnicas como dropout (con ratios entre 25 y 75%) y batch normalization para poder contrarrestar el overfitting; y la técnica “adadelta” como optimización. Para la función de activación se utilizó Rectified Linear Unit (ReLU).
  La arquitectura completa es la siguiente:
  

  

  arquitectura.png (235.01 KiB) Visto 237 veces

El Ayadi, M., Kamel, M. S., & Karray, F. (2011). Survey on speech emotion recognition: Features, classification schemes, and databases. Pattern Recognition, 44(3), 572-587 https://www.sciencedirect.com/science/article/abs/pii/S0031320310004619

Tripathi, S., Kumar, A., Ramesh, A., Singh, C., & Yenigalla, P. (2019). Deep learning based emotion recognition system using speech features and transcriptions.https://arxiv.org/ftp/arxiv/papers/1906/1906.05681.pdf