李宏毅-深度學習之梯度降低

迴歸算法的應用 1.梯度降低(Gradient Descent) 1.1什麼是梯度降低 梯度降低算法(隨機梯度降低算法(SGD)、小批量梯度降低算法(mini-batch SGD))都須要對於每個參數都用相同的學習率進行更新。 可是在實際應用中,各個參數的重要性確定是不同的,因此咱們對於不一樣的參數要動態的採起不一樣的學習率,讓目標函數更快的收斂。web 1.1.1自適應學習率(Adaptive
相關文章
相關標籤/搜索