梯度下降算法SGD

梯度，是一個數學概念，自然有其嚴格的數學定義。簡單說就是，梯度就是函數在該點處沿着該方向變化最快。因此，梯度是一個向量場。沿着正梯度就可以找到最大值，所謂的梯度上升。沿着負梯度就可以找到最小值，所謂的梯度下降。兩者其本質都是一樣的。 簡單公式推導如下： 由此可以得到權值更新爲（沒有引入學習率）： 程序具體實現過程： 原始數據爲A=（M*N）階矩陣 標籤爲B=（M*1） 初始權重爲W=（N*1） 梯

>>阅读原文<<