neuralnetworksanddeeplearning學習_權重初始化方法

在第一章中作者使用的權重初始化方法是將權重以標準正態分佈N~(0,1)進行初始化，本章作者介紹使網絡更加高效的權重初始化方式。 作者假設網絡有1000個輸入，其中500個值爲0，500個值爲1，第一隱藏層的節點未激活輸出爲，那麼其輸出實際上就是501個獨立正態分佈變量之和，其中包括500個w和1個bias。獨立的正態分佈變量之和仍然是正態分佈，則未激活輸出仍然滿足正態分佈N~(0，501)，即其方

>>阅读原文<<