統計學習方法---無約束最優化方法

用於求解無約束最優化問題的方法可以分爲解析法和直接法兩大類。解析法在構造迭代公式的過程中往往使用了泰勒展開來作近似或者推導，因此迭代步驟中含有梯度∇f(x)∇f(x)或黑塞(Hessian)矩陣∇2f(x)∇2f(x)，在問題的解析形態較好的情況下使用往往能獲得比較快的收斂速度。而直接法則從物理角度思考如何遞推，不會用到梯度或者黑塞矩陣，它對問題的解析形態幾乎沒有要求，只要能計算出函數值即可。當然

>>阅读原文<<