最小二乘法，梯度下降法，牛頓迭代法，高斯牛頓法原理整理

最小二乘法 基本公式： 考慮超定方程組（超定指方程個數大於未知量個數）： 其中m代表有m個等式，n代表有 n 個未知數 ，m>n ；將其進行向量化後爲： 　　 ， ， 顯然該方程組一般而言沒有解，所以爲了選取最合適的 讓該等式"儘量成立"，引入殘差平方和函數S （在統計學中，殘差平方和函數可以看成n倍的均方誤差MSE） 梯度下降法 梯度下降法是一個最優化算法，常用於機器學習和人工智能當中用來遞歸性

>>阅读原文<<