神經網絡訓練心得1

最近剛學習完cnn的一些基礎理論，就立刻寫了一個自己的LeNet-5對cifar-10進行訓練，現將調試的第一條心得記錄如下： 第一是在進行權重初始化（weight initialization）的時候一定要小心，不是隨便給出幾個小的隨機數就萬事大吉了，當神經網絡層數不多的時候，或許沒什麼太大的影響，但當網絡變深的時候，激活函數可能會變爲了0！這時候無論怎麼訓練，準確率也只有隨機水平 第二是學習率

>>阅读原文<<