牛頓法、擬牛頓法、hession矩陣

先看hession矩陣： 個人理解：對於x附近很小的區間內，可以用泰勒公式二次展開近似擬合（得到的是二次函數），可以得出這段區間的最小值，在以最小值開始，不斷重複直到最後，可能這就是比梯度下降快的原因，梯度下降一步步蹭着走） 牛頓法的優缺點總結： 優點：二階收斂，收斂速度快； 缺點：牛頓法是一種迭代算法，每一步都需要求解目標函數的Hessian矩陣的逆矩陣，計算比較複雜。 　　 關於牛頓法和梯度下

>>阅读原文<<