【機器學習】梯度下降算法及梯度優化算法

用於評估機器學習模型的就是損失函數，我們訓練的目的基本上都是最小化損失，這個最小化的方式就要用優化算法了，機器學習中最常用的就是梯度下降算法。 導數、方向導數和梯度 要了解梯度下降算法是什麼首要知道梯度是什麼，導數和方向導數又是瞭解梯度的前提。 導數 　導數反映的是函數y=f(x)在某一點處沿x軸正方向的變化率，如果f’(x)>0，說明f(x)的函數值在x點沿x軸正方向是趨於增加的；如果f’(x)

>>阅读原文<<