CS231n lecture6 Note

訓練神經網絡 1.激活函數：使用relu作爲激活函數，同時要小心設置學習率。學習率不能設置得太大，不然會導致梯度更新之後的權值數值變得很大，從而使得W和X加權求和之後的數值小於0，則所有的激活神經元都會變成dead neuron，dead neuron指的是當前神經元節點的輸出激活值爲0，並不代表最後的損失函數值爲0，即損失函數對於當前層的激活值偏導數不爲0（upstream gradient），

>>阅读原文<<