深度學習中momentum的做用

 訓練網絡時，一般先對網絡的初始權值按照某種分佈進行初始化，如：高斯分佈。初始化權值操做對最終網絡的性能影響比較網絡 大，合適的網絡初始權值可以使得損失函數在訓練過程當中的收斂速度更快，從而得到更好的優化結果。可是按照某類分佈隨機初始化函數 網絡權值時，存在一些不肯定因素，並不能保證每一次初始化操做都能使得網絡的初始權值處在一個合適的狀態。不恰當的初始權值可性能 能使得網絡的損失函數在訓練過程當中

>>阅读原文<<