最小二乘法

前言 最小二乘法在統計學的地位不必多言。本文的目的是全面地講解最小二乘法，打好機器學習的基礎，後面的系列文章會繼續講解最小二乘的正則化。 至於非線性最小二乘和廣義線性模型，如果以後有時間會進行整理。 核心思想 最小二乘法是勒讓德( A. M. Legendre)於1805年在其著作《計算慧星軌道的新方法》中提出的。它的主要思想就是求解未知參數，使得理論值與觀測值之差（即誤差，或者說殘差）的平方和達

>>阅读原文<<