梯度下降法原理

（該博文爲一網友所寫，非常詳細易懂，故搬運過來以後方便回憶學習） 一、爲什麼需要梯度下降法 每個算法模型都有自己的損失函數，而損失函數包含了各個位置上的參數，我們的最終目標都是要找到使模型損失函數儘可能小的參數。 在學習簡單線性迴歸時，我們使用最小二乘法來求損失函數的最小值，但是這只是一個特例。在絕大多數的情況下，損失函數是很複雜的（比如邏輯迴歸），根本無法得到參數估計值的表達式。因此需要一種對大

>>阅读原文<<