7.3 學習率調整策略

一、爲什麼要調整學習率 二、pytorch的六種學習率調整策略     前兩節課學習了優化器的概念，優化器中有很多超參數，在這些參數中最重要的參數就是學習率。 我們知道學習率直接控制了參數更新的大小。在整個訓練過程中，學習率也不是一成不變的，還是可以調整的。今天就來學習學習率的調整策略。     一、爲什麼要調整學習率 學習率直接控制參數更新的步伐。 通常在訓練中，一開始學習率可以給的比較大，讓參

>>阅读原文<<