機器學習與深度學習系列連載： 第二部分 深度學習(二）梯度下降

梯度下降 Gradient Decent 我們回憶深度學習「三板斧」， 選擇神經網絡 定義神經網絡的好壞 選擇最好的參數集合 其中步驟三，如何選擇神經網絡的好壞呢？ 梯度下降是目前，最有效的方法之一。 方法：我們舉兩個參數的例子 θ 1 \theta1 θ1, θ 2 \theta2 θ2, 損失函數是L。那麼它的梯度是： 那我爲了求得最小值，我們有： 參數不斷被梯度乘以學習率η 迭代 那麼上述公

>>阅读原文<<