Warmup預熱學習率

學習率是神經網絡訓練中最重要的超參數之一,針對學習率的優化方式不少,Warmup是其中的一種 (一)、什麼是Warmup? Warmup是在ResNet論文中提到的一種學習率預熱的方法，它在訓練開始的時候先選擇使用一個較小的學習率，訓練了一些epoches或者steps(好比4個epoches,10000steps),再修改成預先設置的學習來進行訓練。html (二)、爲何使用Warmup? 因爲

>>阅读原文<<