深度學習學習筆記 --- 動量momentum

一、動量momentum的由來         訓練網絡時，通常先對網絡的初始值按照某種分佈進行初始化，如：高斯分佈。初始化權值操作對最終的網絡性能影響比較大，合適的網絡初始權值操作能夠使損失函數在訓練過程中收斂速度快，從而獲得更好的優化結果。但是按照分佈隨機初始化網絡權值時，存在一些不確定的因素，並不能保證每一次初始化操作都能使得網絡的初始值處在一個合理的狀態。不恰當的初始權值可能使網絡的損失函

>>阅读原文<<