Long Short-Term Memory Units (LSTMs)

[antonio]

Uno de los problemas de las RNN de las que se hable en el anterior post: http://ssyspe.org/viewtopic.php?t=984&p=1315#p1315 es que muchas veces es establecer las relaciones correctas entre los outputs y las entradas realizadas muchos pasos antes. Este problema se debe a que al multiplicar cualquier valor muchas varias veces por cualquier numero numero diferente de 1 genera un efecto de explosion (>1) o desvanesimiento (<1). Por este motivo los pesos de estas redes ante ligeras variaciones generan efectos "caóticos".

Del mismo modo la aplicación de las funciones de activación repetidamente genera un desvanecimiento de la gradiente como se observa en la siguiente imagen:


Long Short-Term Memory" (LSTM) es una arquitectura RNN que contiene informacion fuera del flujo normmal de la red neuronal en una celda cerrada. Estas celdas toman decisión sobre que memoriza, cuando permitir "lecturas", "escrituras" o "borrados" basados en una set propio de pesos, los cuales tambien son ajustados durante el entrenamiento del modelo. De esta forma esta celdas son capaces de decidir que memorizar y cuando hacerlo.



Fuente:
https://deeplearning4j.org/lstm.html