通過方差分析詳解最流行的Xavier權重初始化方法

本文假定各位讀者瞭解一些神經網絡的基礎，包括一些基本的前向與反向傳播的表達式。本文很大一部分是進行基礎的代數操作，只有少量的基本統計數據。如果讀者希望先複習一點神經網絡相關的知識，可以閱讀以下機器之心曾發過的基礎教程。本文嘗試用 Glorot 和 Bengio 在他們論文中使用的推導以探討深度神經網絡中的權重初始化問題，並更好地說明爲什麼他們的方法解決了神經網絡面臨的訓練問題。 最全的DNN概述論

>>阅读原文<<