學習率的設定

    一、一開始先設定一個很小的學習率，隨着batch step 變大，當損失函數再也不降低，而是開始波動的時候，拐點處的學習率設置爲初始學習率。函數     二、設定完初始學習率之後，先訓練一段時間，到必定epoch後，損失開始再也不降低而是波動，此時開始衰減學習率。學習

>>阅读原文<<