深度學習筆記(2)：1.11 權重初始化

1.11   權重初始化 經過1.10節的分析，我們知道過大或過小的權重設置可能會帶來梯度爆炸或消失的問題，嚴重影響我們計算神經網絡的速度，加大神經網絡的訓練難度。那麼應該如何初始化權重呢？如下圖所示： 我們用單個神經元舉例， 這裏同樣不考慮b的情況(b=0)，這時Z=W1X1+W2X2+...+WnXn，當n很大時，我們希望能夠存在較小的Wi，以避免Z過大。面對這個問題，我們的直觀想法是希望W的

>>阅读原文<<