理解深度學習中的學習率及多種選擇策略

學習率是最影響性能的超參數之一，如果我們只能調整一個超參數，那麼最好的選擇就是它。相比於其它超參數學習率以一種更加複雜的方式控制着模型的有效容量，當學習率最優時，模型的有效容量最大。從手動選擇學習率到使用預熱機制，本文介紹了很多學習率的選擇策略。 這篇文章記錄了我對以下問題的理解： 如何系統地獲得良好的學習速率？ 我們爲什麼要在訓練過程中改變學習速率? 當使用預訓練模型時，我們該如何解決學習速率的

>>阅读原文<<