深度學習超參數理解

這篇博客是對深度學習中比較重要的或者常見的超參數做一個整理筆記。 1：learning rate（） 學習率決定了權值更新的速度，在迭代更新權值的過程中，設置過大容易使訓練的模型跨過最優值，導致過擬合；設置過小會使梯度下降過程過慢。這個參數是根據經驗和不斷實驗來設置。 2：Weight decay（） 爲了避免過擬合，必須對目標函數cost function（損失函數一般也叫價值函數）加入一些正則

>>阅读原文<<