有關機器學習的梯度下降算法

梯度下降算法是一個一階最優化算法，通常也稱爲最速下降算法。 要使用梯度下降算法尋找局部最小值，必須向函數上當前點對應梯度的反方向進行迭代搜索。相反地向函數正方向迭代搜索，則會接近函數的局部最大值，這個過程被稱爲梯度上升法。 梯度下降算法基於以下的觀察：如果實值函數F(x)在點a處可微且有定義，那麼函數F(x)在點a沿着梯度相反地方向-∇F(a)下降最快。 因而，如果 對於r>0爲一個夠小數值時成立

>>阅读原文<<