Xavier 論文閱讀

Xavier 原論文傳送地址 參考博客傳送 摘要 在2006年之前，似乎深層多層神經網絡沒有得到成功的訓練，然而幾種算法已被證明可以成功地訓練它們，實驗結果表明深層架構較淺層架構的優越性。 所有這些實驗結果都是通過新的初始化或訓練機制獲得的。 我們的目標是更好地理解爲什麼使用了隨機初始化的標準梯度下降與深度神經網絡結合的效果差，以便來更好地理解這些最近的相對成功的算法，並幫助設計更好的算法。 我們

>>阅读原文<<