深度學習（五）學習率的調節

      學習率對於深度學習是一個重要的超參數，它控制着基於損失梯度調整神經網絡權值的速度，大多數優化算法（SGD、RMSprop、Adam）對其都有所涉及。學習率越小，損失梯度下降的速度越慢，收斂的時間更長，如公式所示： new_weight= existing_weight — learning_rate * gradient (新權值 = 當前權值 – 學習率 × 梯度)        如

>>阅读原文<<