Xavier Glorot參數初始化: 理解訓練Deep DNN的難點

文章目錄 1 深度神經網絡 2 實驗環境和數據集 在線學習無限數據集：Shapeset-3 x 2 有限數據集 實驗環境 3 訓練過程激活函數和飽和的影響 Sigmoid實驗 Tanh實驗 Softsign實驗 4 研究梯度及其傳播 損失函數影響 梯度傳播研究 學習過程中的後向傳播梯度 5 誤差曲線與結論 【Reference】 1. Understanding the difficulty of

>>阅读原文<<