深度學習小白——神經網絡5（參數更新）

1、參數更新python 1.隨機梯度降低及各類更新方法算法 【普通更新】：沿着負梯度方向改變參數網絡 x+= -learning_rate * dxide 其中學習率是一個超參數，它是一個固定的常量。函數 【動量更新】（Momentum）性能 這個方法在深度網絡上幾乎總能獲得更好的收斂速度。是從物理角度上對最優化問題獲得的啓發。它將損失值理解爲是山的高度（所以高度勢能是U=mgh,因此U正比於h

>>阅读原文<<