機器學習筆記之迴歸算法（一）線性迴歸

1. 假設函數 2. 損失函數 根據損失函數求解最優的假設函數（θ值），即求解一個凸優化問題。即對損失函數求導，令導數爲0，求解θ值。 3. 梯度下降算法 從初始的θ值開始按照以下的形式不斷更新，即從初始θ（隨機初始化）按照梯度方向（使J下降最快的方向）變化。α稱爲學習率或步長。 其中偏導的部分： 對於單個樣本： 上式稱爲最小均方算法（Least mean square，LMS算法）。 推廣到多個

>>阅读原文<<