簡單線性迴歸（梯度下降法）

1、概述 梯度下降法和最小二乘法 相同點： 本質和目標相同：兩種方法都是經典的學習算法，在戈丁已知數據的前提下利用求導算出一個模型（函數），使得損失函數最小，然後對給定的新數據進行估算預測 不同點： 損失函數：梯度下降可以選取其他損失函數，而最小二乘一定是平方損失函數 實現方法：最小二乘法是直接求導找出全局最小；而梯度下降是一種迭代法 效果：最小二乘法找到的一定是全局最小，但計算繁瑣，且複雜情況下

>>阅读原文<<