常用初始化方法

常用初始化方法 權值初始化，不良的權值初始化會導致輸出層的輸出值過大或者過小，從而引發梯度的消失或爆炸，最終導致我們的模型無法訓練和使用。爲了防止這種情況的發送，我們需要保證網絡輸出層的輸出在一個合理的範圍，就是要保證每一網絡層的輸出值的方差是1 ，遵循方差一致性原則，保證網絡輸出層的輸出值不大不小。 所以有了以下的分佈的權值初始化 分爲四大類 總之最終目的就是將輸出值控制在一個合理範圍（合理的標

>>阅读原文<<