第一講 梯度下降

1.     梯度下降 在學習神經網絡與機器學習之前，不得不先了解一種迭代方法，那就是梯度下降法。在求解損失函數的最小值時，可以通過梯度下降法來一步步的迭代求解，得到最小化的損失函數和模型參數值。 在機器學習中，基於基本的梯度下降法發展了兩種梯度下降方法，分別爲隨機梯度下降法和批量梯度下降法。這些都會在後面講解。 2.     梯度下降小述 在學習微積分時，對於一個多元函數，當對其中各個元求偏導數

>>阅读原文<<