神經網絡優化算法總結

由於本文公式較多，簡書不支持公式渲染，公式完整版請移步個人博客或參考專欄 優化算法框架 優化算法的框架如下所示： $$ w_{t+1} = w_t - \eta_t \ \eta_t = \cfrac{\alpha}{\sqrt{V_t}} \cdot m_t $$ 其中，$w_i$爲i時刻的權值，$\eta_i$爲i時刻的優化量；$\alpha$爲學習率，$m_t$爲一階動量，$V_t$爲二階動

>>阅读原文<<