神經網絡如何調參，自己的一些心得和實戰經驗

引言 神經網絡的調參十分重要，很多人都說深度學習是一個黑箱模型，有人戲稱深度學習爲「煉丹」。但是深度學習歸根結底是一個數學優化的過程，超參數對於模型的效果影響很大。網上文章也有很多，比如梯度爆炸應該怎麼辦，學習率怎麼調整，選什麼樣的優化器等等。下面我就說一下自己的一些心得以及借鑑的別人的一些想法。 學習率的調整 爲了訓練神經網絡，其中一個需要設置的關鍵超參數是學習率。提醒一下，爲了最小化此網絡的損

>>阅读原文<<