神經網絡優化的步驟以及常用的神經網絡優化器

優化神經網絡相關的參數： w表示待優化參數，loss表示損失函數，lr表示學習率，batch表示每次迭代的數據，t表示當前batch迭代的總次數： 神經網絡參數優化的步驟： 一階動量：與梯度相關的函數 二階動量：與梯度平方相關的函數 常用的優化器： （1）SDG（Stochastic gradient descent）：隨機梯度下降 沒有動量 (2）SGDM（含momentum的Stochasti

>>阅读原文<<