神經網絡權重的初始化

當你訓練神經網絡時，權重隨機初始化是很重要的。對於邏輯迴歸，把權重初始化爲 0，當然也是可以的。 但是對於一個神經網絡，如果你把權重或者參數都初始化爲 0，那麼梯度下降將不會起作用。 1.權重初始化的重要性 神經網絡的訓練過程中的參數學習時基於梯度下降算法進行優化的。梯度下降法需要在開始訓練時給每個參數賦予一個初始值。這個初始值的選取十分重要。在神經網絡的訓練中如果將權重全部初始化爲0，則第一遍前

>>阅读原文<<