權值初始化方法之Xavier與MSRA

首先介紹一下Xavier等初始化方法比直接用高斯分佈進行初始化W的優勢所在：  一般的神經網絡在前向傳播時神經元輸出值的方差會不斷增大,而使用Xavier等方法理論上可以保證每層神經元輸入輸出方差一致。  這裏先介紹一個方差相乘的公式，以便理解Xavier： Xavier 現在我們先來分析一層卷積：    其中ni表示輸入個數。 根據概率統計知識我們有下面的方差公式：  特別的，當我們假設輸入和權

>>阅读原文<<