深度神經網絡的權重初始化

爲何需要初始化權重： 當x越大或者越小，對應的sigmod激活函數的梯度越小，收斂速度越慢。而我們目的是需要較大的梯度，最好x落入sigmod函數的近似線性區間，以提高訓練速度，所以權重的初始化將決定收斂的速度。   幾種權重初始化方法：   1、隨機高斯分佈，均值通常設爲0，方差0.01或者其他。   2、xavier：其實是一定區間內的均勻分佈。 推倒的基礎知識： 1.符合均勻分佈U（a,b）

>>阅读原文<<