【深度學習】參數初始化與Batch Normalization

一、參數初始化原則 參數初始化作爲模型訓練的起點，決定了模型訓練的初始位置。選擇的好壞很大程度影響收斂的速度與最終的訓練結果。一般來說，參數初始化遵循以下幾點要求： 不建議同時初始化爲一個值，容易出現「對稱失效」 最好保證均值爲0，正負交錯，參數大致數量相等 初始化參數不要太大或太小，前者會導致梯度發散難以訓練，後者會導致特徵對後面的影響逐漸變小 二、常見的初始化方法 1、全零初始化與隨機初始化

>>阅读原文<<