深度學習中學習率的選擇

learning rate是深度學習模型中進行訓練的一個比較關鍵的因素，也是通常我們設計模型中基本都會討論和實驗的一個參數。   大家都知道，梯度具有方向和大小，反向傳播中，梯度下降算法乘以一個稱爲學習速率的變量，以確定下一個點的位置。 學習率設置過小，收斂速度會非常慢，學習率設置過大，則會越過最低點，無法達到最低點。   Lr的選擇是純粹的超參問題，實際上也就是try，不過你如果直到損失函數的梯

>>阅读原文<<