深度學習之Hessian矩陣在牛頓法中的應用

對於多維函數，每個點在每一個方向上的導數是不同的，如果使用梯度下降，有可能在某一方向上導數增加很快，而在另外一方向上增加很慢，梯度下降是不知道導數的這些信息的，因爲梯度只是一階導數，只有二階導數能反應一階導數的變化情況，也就是Hessian矩陣。 一般來說, 牛頓法主要應用在兩個方面, 1, 求方程的根; 2, 最優化. 1), 求解方程 並不是所有的方程都有求根公式, 或者求根公式很複雜, 導致

>>阅读原文<<