神經網絡中的權重初始化：Why and How

神經網絡中的權重（weight）初始化是個常常被忽略的問題。 最近在手寫一個Python的神經網絡庫，剛開始爲了測試代碼是否寫對，搭建了一個2->4->2的單隱層神經網絡來擬合異或運算，擬合結果十分完美。 但是在做MNIST手寫數字識別，將網絡擴展到了784->100->10時，發現損失函數一直不下降，訓練準確率一直停留在10%左右（和隨機猜的命中概率一樣嘛）。 一直以爲是back propaga

>>阅读原文<<