常見的深度學習參數初始化方法總結

目錄 1 隨機初始化 2 Xavier初始化 3 He初始化 4 高斯隨機初始化 with Batch Norm 5 Pre-train Reference 1 隨機初始化   2 Xavier初始化 每層的權重初始化公式如下： 上式爲一個均勻分佈，n_j爲輸入層的參數，n_(j+1)爲輸出層的參數 Xavier的推導過程是基於幾個假設的， 其中一個是激活函數是線性的，這並不適用於ReLU，sig

>>阅读原文<<