機器學習入門：Linear Regression與Normal Equation -2017年8月23日22:11:50

本文會講到：

(1)另外一種線性迴歸方法：Normal Equation；

(2)Gradient Descent與Normal Equation的優缺點；

 

前面咱們經過Gradient Descent的方法進行了線性迴歸，可是梯度降低有以下特色：

(1)須要預先選定Learning rate；

(2)須要屢次iteration；

(3)須要Feature Scaling；

 

所以可能會比較麻煩，這裏介紹一種適用於Feature數量較少時使用的方法：Normal Equation；

 

當Feature數量小於100000時使用Normal Equation；

當Feature數量大於100000時使用Gradient Descent；

 

Normal Equation的特色：簡單、方便、不須要Feature Scaling；

其中Normal Equation的公式：

 

表示第i個training example；

表示第i個training example裏的第j個feature的值；

m爲#training example；

n爲#feature；

 

for instance: