tensorflow之學習率

學習率 learning_rate: 表示了每次參數更新的幅度大小。 學習率過大, 會導致待優化的參數在最小值附近波動,不收斂;學習率過小, 會導致待優化的參數收斂緩慢。 在訓練過程中, 參數的更新向着損失函數梯度下降的方向。 參數的更新公式爲: 下一時刻的參數=上一時刻的參數-學習率*(損失函數對這個參數的導數) 由圖可知,損失函數 loss 的最小值會在(-1,0)處得到,此時損失函數的導數爲
相關文章
相關標籤/搜索