tensorflows十五 再探Momentum和Nesterov's accelerated gradient descent 利用自動控制PID概念引入誤差微分控制超參數改進NAGD,速度快波動小

神經網絡BP-GD算法和自動控制PID算法有類似之處,都是利用誤差反饋對問題進行求解,不同的是自動控制調節的是系統的輸入,神經網絡調節的是系統本身。本文將引入誤差微分控制超參數kd_damp對NAGD算法進行優化,收斂的速度更快!波動更小!   自動控制PID算法與神經網絡Momentum算法比較: http://www.sohu.com/a/242354509_297288 http://www
相關文章
相關標籤/搜索