常見學習率衰減方式

學習率 學習率的作用 ​ 在機器學習中，監督式學習通過定義一個模型，並根據訓練集上的數據估計最優參數。梯度下降法是一個廣泛被用來最小化模型誤差的參數優化算法。梯度下降法通過多次迭代，並在每一步中最小化成本函數（cost 來估計模型的參數。學習率 (learning rate)，在迭代過程中會控制模型的學習進度。 ​ 在梯度下降法中，都是給定的統一的學習率，整個優化過程中都以確定的步長進行更新， 在

>>阅读原文<<