深度學習理論——隨機梯度下降法(SGD) & 反向傳播

大家好，一直在用深度學習，但是感覺理論並不紮實，打算開始補點理論基礎，在CSDN上記錄下來。 今天介紹隨機梯度下降法和反向傳播，首先介紹梯度下降法。 1.梯度下降法 梯度下降法是從初始值開始，向函數上當前點對應梯度的反方向的規定步長的距離點進行迭代搜索，最終得到最小值的過程。公式簡易推導如下： 更直觀的圖像表示如圖所示： 這是學習率爲0.001，迭代兩百次的示意圖，當學習率設的更大，可能會迭代收斂

>>阅读原文<<