Algoritmos de optimizacion para redes neuronales

[antonio]

Para la optimizacion de los parametros de una Red neuronal, se pueden utilizar distintas técnicas. Hoy en dia las técnicas mas utilizadas son aquellas basadas en la gradiente de la función objetivo, estas técnicas son conocidas como "Gradient Descent Optimization". Muchas veces estos algoritmos se utilizan como cajas negras que brindan a nuestra red neuronal la capacidad de aprender.

En el siguiente link se encuentra una explicación de los distintos algoritmos que se utilizan para la optimizacion de los parametros de la red neuronal.

http://ruder.io/optimizing-gradient-descent/

Del blog de Sebastian Ruder.

Los algoritmos mencionados en el blog son: Momentum, Nesterov accelerated gradient, Adagrad, Adadelta, RMSprop, Adam, AdaMax, Nadam, AMSGrad
Ademas realiza una comparación entre estos y una recomendación de como elegir el optimizador a utilizar.