Software muestra como los sistemas de NPL se equivocan con sinónimos
Publicado: 01 Mar 2020, 10:17
Ingenieros del MIT han creado el software Textfooler para probar que tan bien pueden comprender los NPL el lenguaje humano.
Si el NPL recibe un texto lo puede interpretar, pero basta con que una palabra sea cambiada por un sinónimo para que el NPL le de un significado completamente distinto al texto.
El ejemplo mostrado por el MIT es el siguiente.
“The characters, cast in impossibly contrived situations, are totally estranged from reality”, and
“The characters, cast in impossibly engineered circumstances, are fully estranged from reality”.
Hay muchos ataques, frecuentas en sistemas para reconocimiento de imágenes donde una pequeña modificación a la entrada de estos sistemas, puede cambiar totalmente lo que entiende. Un claro ejemplo es que TextFooler que ha roto sistemas como SIRI, ALEXA and GOOGLE HOME.
Se destaca que la importancia de esta investigación es hacer por mas que los sistemas de IA sean avanzados, estos pueden presentar ciertas vulnerabilidades.
Referencia
MIT software shows how NLP systems are snookered by simple synonyms (12 de febrero del 2020)
Recuperado de: https://artificialintelligence-news.com ... -synonyms/
Si el NPL recibe un texto lo puede interpretar, pero basta con que una palabra sea cambiada por un sinónimo para que el NPL le de un significado completamente distinto al texto.
El ejemplo mostrado por el MIT es el siguiente.
“The characters, cast in impossibly contrived situations, are totally estranged from reality”, and
“The characters, cast in impossibly engineered circumstances, are fully estranged from reality”.
Hay muchos ataques, frecuentas en sistemas para reconocimiento de imágenes donde una pequeña modificación a la entrada de estos sistemas, puede cambiar totalmente lo que entiende. Un claro ejemplo es que TextFooler que ha roto sistemas como SIRI, ALEXA and GOOGLE HOME.
Se destaca que la importancia de esta investigación es hacer por mas que los sistemas de IA sean avanzados, estos pueden presentar ciertas vulnerabilidades.
Referencia
MIT software shows how NLP systems are snookered by simple synonyms (12 de febrero del 2020)
Recuperado de: https://artificialintelligence-news.com ... -synonyms/