Xavier——Understanding the difficulty of training deep feedforward neural networks

1. 摘要 本文嘗試解釋爲什麼在深度的神經網絡中隨機初始化會讓梯度下降表現很差，並且在此基礎上來幫助設計更好的算法。 作者發現 sigmoid 函數不適合深度網絡，在這種情況下，隨機初始化參數會讓較深的隱藏層陷入到飽和區域。 作者提出了一個新的參數初始化方法，稱之爲 Xavier 初始化，來幫助深度網絡更快地收斂。 2. 激活函數的作用以及訓練過程中的飽和現象 2.1. 三種激活函數 T a n

>>阅读原文<<