機器學習之路： 深度學習 tensorflow 神經網絡優化算法 學習率的設置

    在神經網絡中，廣泛的使用反向傳播和梯度下降算法調整神經網絡中參數的取值。         梯度下降和學習率： 　　假設用 θ 來表示神經網絡中的參數， J(θ) 表示在給定參數下訓練數據集上損失函數的大小。 　　那麼整個優化過程就是尋找一個參數θ， 使得J(θ) 的值最小， 也就是求J(θ) 的最小值 　　 　　損失函數J(θ)的梯度 = ∂ J(θ) / ∂ θ  　　此時定義一個學習率

>>阅读原文<<