TensorFlow筆記之神經網絡優化——學習率

學習率：表示了每次更新參數的幅度大小。學習率過大，會致使待優化的參數在最小值附近波動，不收斂；學習率太小，會致使待優化的參數收斂緩慢。        在訓練過程當中，參數的更新相紙損失函數梯度降低的方向。參數的更新公式爲：        假設損失函數爲 loss = (w + 1)2。梯度是損失函數 loss 的導數爲 ∇=2w+2。如參數初值爲 5，學習率爲 0.2，則參數和損失函數更新以下：

>>阅读原文<<