深度學習_深度學習基礎知識_學習率相關技巧

差分學習率 對不同的網絡層數使用不同的學習率，這樣可以防止過擬合，有利於加速學習。 尋找合適的學習率 週期性學習率 + loss的組合進行學習率選取。首先嚐試使用較低學習率來訓練神經網絡，以指數形式增加，同時，記錄每個學習率對應的loss值，然後畫出學習率和loss值的關係圖，通過找出學習率最高且loss值人在下降的值來確定最佳學習率。 使用餘弦退火的方法 在採用批次隨機梯度下降算法時，神經網絡應

>>阅读原文<<