自適應學習率算法(六)、自適應學習率算法

目錄算法 一、AdaGrad網絡 二、RMSPropide 三、Adam函數 四、選擇正確的優化算法性能 神經網絡研究員早就意識到確定是最難設置的超參數之一，由於它對模型的性能有顯著的影響。損失一般高度敏感域參數空間中的某些方向，而不敏感於其餘。動量算法能夠在必定程度緩解這些問題，但這樣作的代價是引入了另外一個超參數，在這種狀況下，天然會會問有沒有其餘方法。若是咱們相信方向敏感度在某種程度是軸對稱

>>阅读原文<<