Why is Least Squares?爲啥是最小二乘法？

梯度下降算法出現了最小二乘法，這是一種非常普遍的擬合函數的近似算法。但是，3次，4次都不是，爲什麼正好是平方形式呢？ 大概在高中時？老師談到該方法，直接在散點圖上劃出一條直線，並作垂足，取最小距離，因爲直線一側定義爲正，一側爲負，所以取平方值，綜合所有點距離之和，最後所得即爲最小二乘形式。 首先敘述Ng的方法，該方法是將離散的數據賦予概率的意義，然後估計參數。當然這並非「完全正確的」。實際上，將理

>>阅读原文<<