Tensorflow學習筆記（七）優化方法，梯度優化

一、梯度下降算法 梯度學習 根據導數的定義，如果輸入發生微小的變化，那麼輸出也會相應的變化： 對導數符號化後，有: 梯度下降的思路如下： 尋找一個參數w，使得損失函數J(w)的值最小，通過不斷的迭代，w會不斷更新，最後會達到或接近最小值點。 梯度下降算法原理圖： 梯度下降算法實際上一種求解最小二乘法最優解的有效工具。 σ爲學習率，該值越大學習速度越快，相反，也有可能因爲過大而越過導致w變化過大導致

>>阅读原文<<