Darknet and Deepnet Mining for Proactive Cybersecurity

[carlos.lopezh]

Darknet and Deepnet Mining for Proactive Cybersecurity Threat Intelligence

Para supervisar la actividad en los foros de la darknet, el autor desarrolló un crawler para recopilar información de páginas alojadas en estas redes. Debido a que es un modelo de aprendizaje supervisado, una parte clave de este trabajo es encontrar "las mejores páginas iniciales", una tarea que debe ser hecha por seres humanos familiarizados con estas páginas. El equipo extrae información específica sobre las actividades de hacking y descarta cualquier otro tipo de información (drogas, armas, etc).
Finalmente, utilizaron un algoritmo de aprendizaje para detectar productos y temas relevantes que se discuten en estos sitios. Lo hacen marcando el 25 por ciento de los datos a mano, señalando lo que es relevante y lo que no. A un humano le toma cerca de un minuto etiquetar cinco productos o dos temas en un foro, pero con esto se puede reducir el tiempo de aprendizaje de la máquina. A continuación, se entrena el algoritmo utilizando este conjunto de datos etiquetados y se lo prueba con el resto de los sitios.
Con el uso de modelos de aprendizaje automático, somos capaces de encontrar el 92% de los productos y el 80% de los debates en foros relacionados con hacking malicioso. Durante un período de 4 semanas, hemos detectado 16 exploits 0-Day a partir de los datos del mercado. Esto incluyó un exploit importante para Android, por lo que se pedía alrededor de U$S 20.000, y uno para Internet Explorer 11 por alrededor de U$S 10.000