（十）機器學習_梯度下降技巧2_學習率

一、背景 梯度下降的使用技巧2： 學習率。 技巧1是特徵值的縮放，關乎梯度下降的收斂快慢；技巧2是學習率，涉及到了梯度下降中的步伐大小。 二、梯度下降的兩個問題 問題一：調試以確保梯度下降正常工作 方法1：可以通過觀察下面的圖像左側。 關於迭代次數和代價函數的圖像。每一次迭代得到一個參數值使得此時的代價函數是取得最小值的。如果梯度下降運行正確的話，那麼代價函數應該隨着迭代次數逐漸下降。如圖，在30

>>阅读原文<<