矩陣求導階最小二乘法的推導

最小二乘法的目標：求誤差的最小平方和。對應有兩種模型：線性模型和非線性模型。如果矩陣是可逆的，線性模型最小二乘的解是closed-form（閉式解）即 而非線性最小二乘沒有closed-form（閉式解），通常用迭代法求解。其中有很多比較有名的迭代法，如梯度下降法(又分爲批梯度下降、隨機梯度下降)、牛頓法、擬牛頓法等，它們的應用條件更爲廣泛（無約束），都是通過迭代更新來逐步進行的參數優化方法，最終

>>阅读原文<<