梯度下降算法

來源知乎 一階導數、雅可比矩陣：曲線隨輸入的變化率。 二階導數、海森矩陣：可以看做是曲線斜率隨輸入的變化，是一種對曲線曲率的測量。 我們機器學習的目標常常是使某個目標函數(objective function)或損失函數(cost function)儘量小，即找到一個 。 對於有的問題我們可能可以得到解析解，但對於大多數問題，我們可能無法得到解析解，這時候就需要一些數值計算的方法使我們逐漸逼近最優

>>阅读原文<<