求解迴歸模型的最小二乘法(代數方法和數值方法)

對於迴歸模型，最小二乘法是通過最小化殘差平方和來估計迴歸係數的方法。殘差平方和就是預測值跟樣本之間的差的平方和，殘差平方和除以樣本量n就是均方誤差，即通常所說的損失函數。迴歸模型的損失函數不宜直接用殘差平方和而要用均方誤差是因爲殘差平方和是所有樣本點殘差平方的總和，會隨着樣本量增大而增加，不能體現樣本點殘差的平均水平。以一元迴歸模型爲例，損失函數爲 \[loss=\frac{1}{2n}\sum_

>>阅读原文<<