深度學習調參技巧

1. 初始化  非常重要 優先Xavier, hekaiming 調了幾天的batch, normalization沒啥用, 一步初始化提高了50個點.... 2.學習率 大學習率, 跑的快, 那麼在同樣的時間就可以調更多的參數, 一般用warm up, 只要不爆炸, 可以儘可能的大 3.batch 先學習率, 再batch, 因爲batch增大, 建議lr相應增大倍數 4.normalizati

>>阅读原文<<