tensorflow中經常使用學習率更新策略

神經網絡訓練過程當中，根據每batch訓練數據前向傳播的結果，計算損失函數，再由損失函數根據梯度降低法更新每個網絡參數，在參數更新過程當中使用到一個學習率（learning rate），用來定義每次參數更新的幅度。python 太小的學習率會下降網絡優化的速度，增長訓練時間，過大的學習率可能致使網絡參數在最終的極優值兩側來回擺動，致使網絡不能收斂。實踐中證實有效的方法是設置一個根據迭代次數衰減的學

>>阅读原文<<