卷積神經網絡調參之學習率

     最近在訓練一個人臉識別的神經的網絡時，經過幾十次迭代後，代價函數的值沒什麼變化。如是百度了一下，看原因是什麼。百度上說有可能是學習率過大造成的，我試着將學習率減小到了0.01（原本時0.1），果然有效果，經過幾十次迭代後，代價函數的值依然在收斂。這是什麼原因呢？下面談談我的看法。     我們知道權值代價函數Loss是關於權值W的函數，即Loss(W)。權值的更新公式爲：     假設L

>>阅读原文<<