梯度下降(Gradient Descent)

分別求解損失函數L(w,b)對w和b的偏導數,對於w,當偏導數絕對值較大時,w取值移動較大,反之較小,通過不斷迭代,在偏導數絕對值接近於0時,移動值也趨近於0,相應的最小值被找到。 η選取一個常數參數,前面的負號表示偏導數爲負數時(即梯度下降時),w向增大的地方移動。 對於非單調函數,可能會陷入局部最優的情況,可以通過設定不同的w初始值,來對比不同參數下的損失函數值。梯度下降法未必是最優的計算權重
相關文章
相關標籤/搜索