吳恩達神經網絡和深度學習-學習筆記-14-學習率衰減

直觀理解和本質 對於沒有設置學習率衰減的，尋找到成本函數最小值的路徑爲藍色（帶有噪音，不收斂，最後在最小值周圍浮動） 對於設置了學習率衰減的，尋找到成本函數最小值的路徑爲綠色（在初期學習率還大，學習速度相對較快。隨着α減小，步伐變小變慢，最後曲線會在最小值附近的一小塊區域擺動） 學習率α衰減的本質在於：在學習初期可以承受較大的步伐，但當開始收斂的時候，小一些的學習率能讓步伐小一些。 實現方法 常用

>>阅读原文<<