ML（5）——神經網絡3（隨機初始化與梯度檢驗）

隨機初始化 　　在線性迴歸和邏輯迴歸中，使用梯度下降法之前，將θ設置爲0向量，有時會習慣性的將神經網絡中的權重全部初始化爲0，然而這在神經網絡中並不適用。 　　以簡單的三層神經網絡爲例，將全部權重都設置爲0，如下圖所示： 　　假設僅有一個訓練數據，使用梯度下降，在第一次迭代時：   　　可以看到，第一次迭代的結果是：隱藏層的權重和激活值全部相等，輸入層的權重相當於所有輸入項放縮了相同的倍數。 　　

>>阅读原文<<