優化方法

牛頓法、擬牛頓法與梯度下降法 牛頓法 基於當前位置的切線來確定下一次的位置，所以牛頓法又被很形象地稱爲是"切線法" 優點：二階收斂，收斂速度快 實際應用中牛頓法首先選擇一個點作爲起始點，並進行一次二階泰勒展開得到導數爲0的點進行一個更新，直到達到要求，這時牛頓法也就成了二階求解問題，比一階方法更快。 缺點：是一種迭代算法，每一步都需要求解目標函數的Hessian矩陣的逆矩陣，計算比較複雜。定長迭代

>>阅读原文<<