Jacobian矩陣和Hessian矩陣，LM最優化方法

1. 前言 熟悉機器學習的童鞋都知道，優化方法是其中一個非常重要的話題，最常見的情形就是利用目標函數的導數通過多次迭代來求解無約束最優化問題。實現簡單，coding 方便，是訓練模型的必備利器之一。這篇博客主要總結一下使用導數的最優化方法的幾個基本方法，梳理梳理相關的數學知識，本人也是一邊寫一邊學，如有問題，歡迎指正，共同學習，一起進步。   2. 幾個數學概念 1) 梯度（一階導數） 考慮一座在

>>阅读原文<<