tensorflow之學習率

學習率 learning_rate： 表示了每次參數更新的幅度大小。 學習率過大， 會導致待優化的參數在最小值附近波動，不收斂；學習率過小， 會導致待優化的參數收斂緩慢。 在訓練過程中， 參數的更新向着損失函數梯度下降的方向。 參數的更新公式爲： 下一時刻的參數=上一時刻的參數-學習率*（損失函數對這個參數的導數） 由圖可知，損失函數 loss 的最小值會在(-1,0)處得到，此時損失函數的導數爲

>>阅读原文<<