權值的初始化

權值的初始化 1.梯度的消失和爆炸 爲什麼梯度消失和爆炸爲什麼可怕？ 因爲梯度消失和爆炸會導致模型無法訓練 由上圖可知梯度的大小和每一層的輸出值的大小有關，所以想要抑制梯度消失和爆炸，就要控制每一層的輸出大小在合理範圍內。 「nan」表示數據過大或過小 正常了 但未考慮奇函數和偶函數 加入tanh()函數最後梯度消失了 Xavier解決的是飽和激活函數 那非飽和的Relu激活函數應該怎麼解決？ 出

>>阅读原文<<