Batch Normalization批量歸一化

       深度學習捷報連連、聲名鵲起,隨機梯度下降成了訓練深度網絡的主流方法。儘管隨機梯度下降法對於訓練深度網絡簡單高效,但是它有個毛病,就是需要我們人爲的去選擇參數,比如學習率、參數初始化、權重衰減係數、Drop out比例等。這些參數的選擇對訓練結果至關重要,以至於我們很多時間都浪費在這些的調參上。那麼學完這篇文獻之後,你可以不需要那麼刻意的慢慢調整參數。       批量標準化一般用在非
相關文章
相關標籤/搜索