神經網絡訓練細節

本文章中截圖來自斯坦福大學深度學習課程 權重初始化 1.當用0初始化權重時會發生什麼？     由於權重都爲0，給定一個輸入，每個神經元將在輸入數據上有同樣的操作，輸出同樣的值，得到相同的梯度，使用相同的方式更新，從而得到相同的神經元。  2.當權重初始化值太小時：激活值逐漸變成0，梯度也會變成0，因爲不斷乘以這麼小的數，所有的都會變成0 3.當權重初始化值太大時：激活值飽和，梯度接近0 數據預處

>>阅读原文<<