梯度下降（Gradient Descent）

分別求解損失函數L(w,b)對w和b的偏導數，對於w，當偏導數絕對值較大時，w取值移動較大，反之較小，通過不斷迭代，在偏導數絕對值接近於0時，移動值也趨近於0，相應的最小值被找到。 η選取一個常數參數，前面的負號表示偏導數爲負數時（即梯度下降時），w向增大的地方移動。 對於非單調函數，可能會陷入局部最優的情況，可以通過設定不同的w初始值，來對比不同參數下的損失函數值。梯度下降法未必是最優的計算權重

>>阅读原文<<