【調優方法】——warmup

學習率是模型訓練中最重要的超參之一，針對學習率的優化有不少種方法，而warmup是其中重要的一種。web 1. 什麼是warmup warmup是一種學習率優化方法（最先出如今ResNet論文中）。在模型訓練之初選用較小的學習率，訓練一段時間以後（如：10epoches或10000steps）使用預設的學習率進行訓練；svg 2. 爲何使用warmup 2.1 理性分析 由於模型的weights是

>>阅读原文<<