Tensorflow2.1基礎知識---神經網絡參數優化器

什麼是優化器？ 優化器，就是神經網絡進行反向傳播的時候，用於更新參數的策略，也就是梯度下降的算法。 優化器更新參數的步驟（4步）： a. 計算t時刻損失函數關於當前參數的梯度：g_t= ∆loss= ∂loss/(∂(w_t)) b. 計算t時刻一階動量m_t 和二階動量V_t （一階動量：與梯度相關的函數 二階動量：與梯度平方相關的函數） c. 計算t時刻下降梯度：μ_t=lr∗ m_t⁄√(V

>>阅读原文<<