梯度降低法中的參數學習速率如何選擇

梯度降低算法每次迭代，都會受到學習速率α的影響。 若是α較小，則達到收斂所須要迭代的次數就會很是高；若是α較大，則每次迭代可能不會減少代價函數的結果，甚至會超過局部最小值致使沒法收斂。 根據經驗，能夠從如下幾個數值開始試驗α的值，0.001 ,0.003, 0.01, 0.03, 0.1, 0.3, 1, … α初始值位0.001, 不符合預期乘以3倍用0.003代替，不符合預期再用0.01替代，

>>阅读原文<<