深度學習之自適應學習率算法

前言 神經網絡研究員早就意識到學習率確定是難以設置的超參數之一，由於它對模型的性能有顯著的影響。損失一般高度敏感於參數空間中的某些方向，而不敏感於其餘。 動量算法能夠在必定程度緩解這些問題，但這樣作的代價是引入了另外一個超參數。在這種狀況下，天然會問有沒有其餘方法。若是咱們相信方向敏感度在某種程度是軸對齊的，那麼每一個參數設置不一樣的學習率，在整個學習過程當中自動適應這些學習率是有道理的。Delt

>>阅读原文<<