深度學習之參數初始化策略

爲何須要參數初始化策略 目的 爲了讓神經網絡在訓練過程當中學習到有用的信息，須要參數更新時的梯度不爲0。在通常的全鏈接網絡中，參數更新的梯度和反向傳播獲得的狀態梯度以及輸入激活值有關。那麼參數初始化應該知足如下兩個條件： 1. 初始化必要條件一：各層激活值不會出現飽和現象(對於sigmoid,tanh)； 2. 初始化必要條件二：各層激活值不爲0。python 全零初始化存在的問題 全零初始化方法

>>阅读原文<<