綜述：神經網絡的優化-優化器，動量，自適應學習率，批量歸一化

綜述：神經網絡的優化-優化器，動量，自適應學習率，批量歸一化 [email protected] 在本文中，我將討論與神經網絡優化有關的以下概念： 優化面臨的挑戰 動量 適應性學習率 參數初始化 批量歸一化 優化面臨的挑戰 當談論神經網絡中的優化時，我們其實是在討論非凸優化問題(non-convex optimization)。 與之對應，凸優化(Convex optimization)中，函數只

>>阅读原文<<