最小二乘法(牛頓法和隨機梯度下降法)

首先最小二乘法是用來幹什麼的，他的目的是最小化誤差平方之和，從而找到最優訓練模型，這個模型可以用來更好的擬合訓練的樣本數據。 最小二乘法具體包括的執行算法有：隨機梯度下降和牛頓法；隨機梯度下降很簡單，具體介紹在上一篇博客(與批梯度下降對比)及之前博客已有介紹；在這裏重點學習一下牛頓法。 ** 一、隨機梯度下降： 再放一張隨機梯度下降法的求解過程，以用來最後於牛頓法做一些對比： 二、牛頓法： 牛頓法

>>阅读原文<<