Se encontraron 4 coincidencias

por hans1801
15 Ene 2021, 09:35
Foros: Inteligencia Artificial
Tema: Clustering de la población con bono independiente Trabaja Perú
Respuestas: 0
Vistas: 357

Clustering de la población con bono independiente Trabaja Perú

Clustering de la población con bono independiente Trabaja Perú


1. Resumen del Trabajo
En este trabajo se busca identificar que grupos se caracterizan bajo cierto tipo de variables en el conjunto de datos de la población con bono independiente Trabaja Peru de los datos abiertos ofrecidos por el MINSA

2. Identificación e interpretación de los atributos de la base de datos
El conjunto de datos es un archivo “.csv” con nombre bono_Independiente_trabajaperu.csv presenta un total de 773291 registros con los siguientes atributos: COD_HOGAR, UBIGEO, DE_DEPARTAMENTO, DE_PROVINCIA, DE_DISTRITO, PERSONAS_HOGAR, MONTO, TIPO_BONO, BONO_COBRADO, FECHA_COBRO, ENTIDAD_COBRO, MEDIO_COBRO, FECHA_ACTUALIZACIÓN
img2.png
img2.png (56.96 KiB) Visto 153 veces
3. Preparación del conjunto de datos
Se ha detectado 5 atributos que no aportan información al conjunto de datos debido a que se distribuyen uniformemente en todo el conjunto de datos, el cuales son: COD_HOGAR, MONTO, TIPO_BONO, ENTIDAD_COBRO, FECHA_ACTUALIZACION
img1.png
img1.png (18.3 KiB) Visto 153 veces
Quedando un total de 8 atributos en total
img3.png
img3.png (75.52 KiB) Visto 153 veces
4. Evaluación de los modelos
Una vez tratado el dataset se evaluará con KNN, probando para k: 2, 3, 4, 5, 6
K = 2
img4.png
img4.png (80.95 KiB) Visto 153 veces
K = 3
img5.png
img5.png (82.27 KiB) Visto 153 veces
K = 4
img6.png
img6.png (80.2 KiB) Visto 153 veces
K = 5
img7.png
img7.png (79.14 KiB) Visto 153 veces
K = 6
img8.png
img8.png (78.62 KiB) Visto 153 veces
5. Conclusión
Se escoge el clustering de K = 3, debido a que se asemeja más a la realidad, un caso visible que no se asemeja a la realidad es cuando el k = 6, el 4to clúster muestra que tiene un centroide en Lima como provincia y departamento, pero como distrito en Cajamarca que esta fuera de la realidad, tal como se muestra en la imagen de abajo, asimismo para otros valores de K, se presentan casos que no se asemejan a la realidad.
img9.png
img9.png (10 KiB) Visto 153 veces
Debido a las otras inconsistencias con K distinto a 3 se concluye que el mejor es 3.
img10.png
img10.png (36.77 KiB) Visto 153 veces

DATASET: https://www.datosabiertos.gob.pe/datase ... mpleo-mtpe
por hans1801
15 Ene 2021, 09:23
Foros: Inteligencia Artificial
Tema: Modelo de clasificación de causa de muerte por COVID-19 – MINSA
Respuestas: 0
Vistas: 303

Modelo de clasificación de causa de muerte por COVID-19 – MINSA

Modelo de clasificación de causa de muerte por COVID-19 – MINSA


1. Resumen del Trabajo
En este trabajo se busca determinar el mejor modelo de clasificación para determinar si una persona falleció a causa de COVID-19 o no, haciendo uso del conjunto de datos publicados por el Sistema Informático Nacional de Defunciones – SINADEF – MINSA. Para el desarrollo del modelo se realizaron en las siguientes etapas: identificación e interpretación de los atributos de la base de datos, preparación del conjunto de datos, evaluación de los modelos predictivos, conclusión.

2. Identificación e interpretación de los atributos de la base de datos
El conjunto de datos es un archivo “.csv” con nombre fallecidos_sinadef.csv presenta un total de 543355 registros con los siguientes atributos:

N°: Identificador del registro
Tipo Seguro: Tipo de seguro del fallecido
Sexo: Sexo identificado en el fallecido
Edad: Edad estimada del fallecido
Tiempo Edad: Edad del fallecido
Estado civil: Estado civil del fallecido
Nivel de Instrucción: Nivel de Instrucción del fallecido
Cod Ubigeo: Código de ubigeo del fallecido
Departamento Domicilio: Departamento de residencia del fallecido
Provincia Domicilio: Provincia de residencia del fallecido
Distrito de Domicilio: Distrito de residencia del fallecido
Fecha: Fecha de defunción del fallecido
Año: Año de defunción del fallecido
Mes: Mes de defunción del fallecido
Tipo Lugar: Tipo Lugar del fallecido
Institución: Institución del fallecido
Muerte Violenta: Tipo de muerte violenta del fallecido
Necropsia: Resultado de necropsia del fallecido
Debido A (Causa A): Descripción de la causa de muerte
Causa A (CEI - X): Código de la causa de muerte de la Causa A
Debido B (Causa B): Descripción de la causa de muerte
Causa B (CEI - X): Código de la causa de muerte de la Causa B
Debido C (Causa C): Descripción de la causa de muerte
Causa C (CEI - X): Código de la causa de muerte de la Causa C
Debido D (Causa D): Descripción de la causa de muerte
Causa D (CEI - X): Código de la causa de muerte de la Causa D
Debido E (Causa E): Descripción de la causa de muerte
Causa E (CEI - X): Código de la causa de muerte de la Causa E
Debido F (Causa F): Descripción de la causa de muerte
Causa F (CEI - X): Código de la causa de muerte de la Causa F

Al ser una base de datos creado por digitación manual se identificó inconsistencias de tipeo que son detalladas en la última sección.
Otra observación interesante es que existen varios registros “Debido a” en una misma persona fallecida y realizando una observación rápida en los datos se puede observar que existe una relación muy similar entre ellas.

3. Preparación del conjunto de datos

En esta etapa para clasificar si la causa de fallecimiento es por COVID-19 o no y en base a las observaciones encontradas en la identificación de datos, se realizó un código que toma las causas de muerte y las simplifica en un solo atributo llamado “COVID” para determinar si la causa de muerte fue por COVID o no. Adicionalmente el código realiza una transformación a los datos debido a la presencia de caracteres extraños, reduciéndolos a data alfanumérica.
img6.png
img6.png (77.11 KiB) Visto 103 veces
Este dataset generado al ser importado al Weka, se observa que hay desbalanceo entre las causas de muerte por COVID y no COVID.
img7.png
img7.png (51.19 KiB) Visto 103 veces
Para ello se usará la técnica Downsampling usando el filtro SpreadSubSample que nos ofrece Weka.
img8.png
img8.png (73.58 KiB) Visto 103 veces
Asimismo, se eliminarán los atributos como N°, el código de ubigeo de domicilio, distrito, provincia y país que redunda con departamento, de la misma forma se eliminará el atributo de tiempo edad ya que redunda con Edad, adicionalmente se elimina los atributos referenciados con el tiempo ya que no tienen relación con la causa de muerte (fecha, mes y año). Adicionalmente se realiza la normalización de la data con la función “Normalize” que ofrece Weka. Por último, para determinar los atributos que ofrecen mayor información se utilizará la función “InfoGainAttributeEval”, donde se puede observar en la imagen el ranking generado:
img9.png
img9.png (67.12 KiB) Visto 103 veces
Se tomará los 5 primeros atributos debido a que ofrecen mayor información en la data para la evaluación de los modelos, las cuales son: NECROPSIA, NIVEL DE INSTRUCCIÓN, EDAD, INSTITUCIÓN Y DEPARTAMENTO DOMICILIO.

4. Evaluación de los modelos predictivos

Una vez tratado el dataset se evaluará con los siguientes modelo: J48, Random Forest, SVM y RedesBayesianas
J48
img10.png
img10.png (47.91 KiB) Visto 103 veces
Random Forest
img11.PNG
img11.PNG (49.22 KiB) Visto 103 veces
Redes Bayesianas
img12.png
img12.png (51.13 KiB) Visto 103 veces
SVM
img13.png
img13.png (51.4 KiB) Visto 103 veces
5. Conclusión
El mejor modelo es el de Redes Bayesianas con un porcentaje de acierto de 70,15%, que a pesar de ser levemente menor al modelo de árbol de decisión (70,38%), el modelo de Redes Bayesianas posee un TP Rate de 76,5% en los casos positivos, que es superior al modelo de Árbol de decisión, que debido a la coyuntura del COVID-19 se le da mayor importancia a la detección de causas de muerte por COVID-19.
Se estima que los resultados fueran mejores si la data fuera más concisa el cual se explica a detalle en la siguiente sección.
Finalmente se resalta la necesidad de balancear los datos debido a que había una gran desproporcionalidad entre las causas de muerte por COVID-19 y no COVID-19.

6. Inconsistencias de la Data
La data mostraba inconsistencias en sus registros debido a errores de tipeo, como caracteres extraños en el tipeo, y las diferentes formas de escribir una misma causa de muerte, por ejemplo, en la imagen se muestra distintas formas de nominar a la causa de muerte por COVID, ya sea por sus siglas o por su nombre propio (coronavirus).
img5-.png
img5-.png (101.96 KiB) Visto 103 veces
NOTA: El código usado en python así como el data set se encuentra en el comprimido de los archivos adjuntos.
por hans1801
18 Dic 2020, 18:35
Foros: Inteligencia Artificial
Tema: Deep Learning aplicado en el reconocimiento de las señales de tránsito
Respuestas: 0
Vistas: 349

Deep Learning aplicado en el reconocimiento de las señales de tránsito

Deep Learning aplicado en el reconocimiento de las señales de tránsito

1. Descripción
La detección y el reconocimiento automáticos de señales de tráfico desempeñan un papel fundamental en la gestión del inventario de señales de tráfico, sistemas autónomos y sistemas de asistencia al conductor. Proporciona una forma precisa y oportuna de administrar el inventario de señales de tráfico con un mínimo esfuerzo humano. En la comunidad de visión artificial, el reconocimiento y detección de señales de tráfico es un problema bien investigado. Sin embargo, esto representa un número relativamente pequeño de todas las señales de tráfico (alrededor de 50 categorías de varios cientos) y el rendimiento en el conjunto restante de señales de tráfico, que se requieren para eliminar el trabajo manual en la gestión del inventario de señales de tráfico, sigue siendo una cuestión abierta.
img6.png
img6.png (438.42 KiB) Visto 165 veces
2. Herramientas
Conjunto de datos:
Para la evaluación del rendimiento, se utilizaron los siguientes conjuntos de datos disponibles públicamente:
• The German Traffic-Sign Detection Benchmark (GTSDB): 3 supercategorías, destinadas principalmente para la detección.
• The German Traffic-Sign Recognition Benchmark (GTSRB): 43 categorías, destinadas únicamente al reconocimiento.
• El conjunto de datos de señales de tráfico de Bélgica (BTS): 62 categorías, para detección y reconocimiento.
• The Mapping and Assessing the State of Traffic Infrastructure (MASTIF): 9 categorías originales, ampliadas a 31 categorías, adquiridas para el mantenimiento de carreteras servicio de evaluación en Croacia.
• The Laboratory for Intelligent and Safe Automobiles (LISA) Dataset: 49 categorías de señales de tráfico, adquiridas en las carreteras de EE. UU.

Convolutional Neural Network:
Ambas investigaciones muestran su propio modelo de la red neuronal a usar.
Para la primera (Deep Learning for Large-Scale Traffic-Sign Detection and Recognition) En la etapa de la detección: el primer módulo es una red profunda y completamente convolucional, la denominada Red de propuestas regionales (RPN), que toma una imagen de entrada y produce un conjunto de propuestas de objetos rectangulares, cada una con una puntuación de objetividad. El segundo módulo es una CNN basada en regiones, llamada Fast R-CNN, que clasifica las regiones propuestas en un conjunto de categorías predefinidas. Siguiendo la terminología recientemente popular de redes neuronales con el mecanismo de "atención", el módulo RPN le dice al módulo Fast RCNN dónde buscar. Mask R-CNN luego mejora este sistema combinando la arquitectura de red subyacente con una Feature Pyramid Network (FPN). Con el FPN, el detector puede mejorar el rendimiento en objetos pequeños, ya que FPN extrae características de las capas inferiores de la red, antes de que el muestreo descendente elimine detalles importantes en objetos pequeños. Luego con las imágenes extraídas son entrenadas con una nueva red neuronal basada en la arquitectura de VGG16 y ResNet50 con imágenes redimensionadas de 256x256x3, logrando así el reconocimiento, la arquitectura se muestra en la figura.
img7.png
img7.png (139.22 KiB) Visto 165 veces
Mientras que para la segunda (Novel Deep Learning Model for Traffic Sign Detection Using Capsule Networks) realiza un método distinto a las Redes Convolucionales y las denomina como “Las redes de cápsulas”, estas redes consisten en cápsulas en lugar de neuronas. La cápsula es un grupo de redes neuronales artificiales que realizan complicados cálculos internos en sus entradas y encapsulan los resultados en un pequeño vector. Cada cápsula captura la posición relativa del objeto y si se cambia la pose del objeto, la orientación del vector de salida cambia en consecuencia, haciéndolos equivariantes.
img8.png
img8.png (70.14 KiB) Visto 165 veces
3. Resultados
La primera investigación logró que el rendimiento en la métrica mAP50 se mejora del 93% a más del 95%, y el error de tasa de error se reduce casi a la mitad del 5,4% al 3,5%. Se obtienen resultados ligeramente peores en la métrica mAP50:95, pero esto mejora cuando se habilita el aumento. Con el data-augmentation mejora ligeramente mAP50 y mejora significativamente mAP50: 95 de 82 - 83% con la máscara R-CNN original a 84,4% para cuando se utilizan nuestras adaptaciones y aumento de datos.
img9.png
img9.png (13.17 KiB) Visto 165 veces
Mientras que para la segunda investigación, el modelo se evalúa utilizando el conjunto de datos de prueba de 12,630 imágenes con un tamaño de lote de 50 obtuvo una precisión del 97,6% y una pérdida final de 0,0311028 evaluada en el conjunto de datos de prueba.
img10.png
img10.png (9.05 KiB) Visto 165 veces
4. Conclusiones
El reconocimiento de las señales de tráfico a pesar de haberse vuelto popular en estoy últimos años sigue siendo una tarea desafiante y las redes neuronales han mostrado un gran potencial para la resolución de esta tarea y han mostrado que pueden dar resultados confiables y precisos al realizar correctamente las tareas de clasificación y detección de imágenes incluso en imágenes borrosas, giradas y distorsionadas imágenes.

5. Referencias

https://arxiv.org/pdf/1904.00649v1.pdf
https://arxiv.org/ftp/arxiv/papers/1805/1805.04424.pdf
por hans1801
18 Dic 2020, 18:27
Foros: Inteligencia Artificial
Tema: Deep Learning aplicado en el reconocimiento de emociones por voz
Respuestas: 0
Vistas: 363

Deep Learning aplicado en el reconocimiento de emociones por voz

1. Descripción
El habla es un medio de interacción natural y de uso común entre los seres humanos. La importancia del habla en la comunicación motiva a muchos investigadores a desarrollar métodos en los que el habla pueda utilizarse para la interacción humano-máquina. Sin embargo, la máquina debe ser lo suficientemente inteligente como para que pueda reconocer no solo las voces del hablante, sino también los estados emocionales del hablante. En diferentes partes del mundo, las personas tienen diferentes antecedentes culturales, idiomas locales, ritmos de habla y estilos de habla. Esta variación cultural crea dificultades en el reconocimiento efectivo de los estados emocionales del hablante y hace que el proceso de selección de características del habla sea muy desafiante y complejo.
La información paralingüística implica el significado implícito del mensaje, como la emoción en el habla. Las características del habla pueden interpretar el significado del habla; por lo tanto, la expresión conductual se investigó en la mayoría de los trabajos de reconocimiento de emociones por voz.

2. Herramientas

Conjunto de datos:
Para la evaluación del rendimiento, se utilizaron los siguientes conjuntos de datos disponibles públicamente: el conjunto de datos de Berlín sobre el habla emocional (Emo-DB), Surrey Audio Visual Expressed Emotion (SAVEE), Captura interactiva de movimiento dinámico emocional (IEMOCAP), y el conjunto de datos audiovisuales de habla y canción emocionales de Ryerson (RAVDESS).

Pre-procesamiento:
El preprocesamiento consiste en un proceso de extracción de datos para la conversión de datos a un formato específico. Convertimos la señal de voz en una representación de espectrograma log-mel. Debido a que la red neuronal requiere una capa de entrada de tamaño 227 × 227 × 3, los espectrogramas se redimensionan de acuerdo con el tamaño de la capa de entrada. Posteriormente, un espectrograma que representa datos de audio se alimenta a una red de preentrenamiento para el proceso de extracción de características.

Convolutional Neural Network:
Ambas investigaciones muestran su propio modelo de la red neuronal a usar.
Para la primera (Impact of Feature Selection Algorithm on Speech Emotion Recognition Using Deep Convolutional Neural Network) se basa en la arquitectura de una DCNN se muestra en la figura. Las características se extraen de la capa de convolución de la red preentrenada, a la que sigue una técnica de selección de características para seleccionar las características más discriminatorias. Se usa una técnica CFS que selecciona características discriminatorias. La técnica CFS evalúa el subconjunto de atributos y selecciona solo aquellas características que tienen una alta correlación con la etiqueta de la clase de salida.
img1.png
img1.png (78.13 KiB) Visto 168 veces
Mientras que para la segunda (Deep Residual Local Feature Learning for Speech Emotion Recognition) se basa en los siguientes factores: conjuntos de datos sin procesar, entornos y características se incluyen en el diseño de nuestro sistema. Con base en tales factores, se propuso un nuevo marco diseñado, llamado DeepResLFLB, como se muestra en la imagen. Este marco consta de cinco partes: (i) preparación de datos sin procesar, (ii) detección de actividad de voz, (iii) limpieza de marco de sesgo, (iv) extracción de características y (v) aprendizaje profundo.
img2.png
img2.png (50.28 KiB) Visto 168 veces
3. Resultados
La primera investigación logró un 95,10% de precisión para el SVM para experimentos dependientes del hablante y un 90,50% de precisión para el clasificador MLP para experimentos independientes del hablante. Sin embargo, con el conjunto de datos SAVEE, la técnica CFS seleccionó 150 de 64,896 características y obtuvo un 82,10% de precisión para el SVM para experimentos dependientes del hablante y un 66,90% de precisión para el clasificador MLP para experimentos independientes del hablante. Con el conjunto de datos IEMOCAP, la técnica CFS logró la mejor precisión, 83,80%, para el clasificador MLP para experimentos dependientes del hablante, y 76,60% de precisión para el clasificador SVM para experimentos independientes del hablante usando 445 características. En contraste, con el conjunto de datos RAVDESS, la técnica CFS arrojó la mejor precisión, 81.30%, para el clasificador SVM, y 73.50% para el clasificador MLP para experimentos dependientes e independientes del hablante usando solo 267 características.
img4.png
img4.png (50.72 KiB) Visto 168 veces
Mientras que para la segunda investigación en las siguientes tablas muestran la comparación de rendimiento entre las funciones de LMS y LMSDDC, en ese orden, probadas en el conjunto de datos EMODB. Se puede ver que la función LMSDDC proporcionó la mejora de la precisión, precisión, recuperación y puntuación F1, en comparación con la función LMS. De la misma manera, cuando se probaron los mismos modelos de aprendizaje con diferentes características, LMS y LMSDDC, en el conjunto de datos RAVDESS.
Función LMS:
img3.png
img3.png (12.98 KiB) Visto 168 veces
Función LMSDDC:
img5.png
img5.png (43.02 KiB) Visto 168 veces
4. Conclusiones
El avance en el reconocimiento de la emociones por voz permitirá mejorar la comunicación humano-máquina ser de utilidad en campos como educación entre otros. A pesar de ser un una tarea desafiante las redes neuronales han demostrado ser muy eficientes pero aún existe el reto de llevarlo a situaciones más semejantes a los escenarios reales donde la distorsión del audio puede afectar negativamente a los resultados.

5. Referencias

https://research-repository.griffith.ed ... sAllowed=y
https://arxiv.org/pdf/2011.09767.pdf