TensorFlow實戰系列6--學習率的設置

 上面提到在優化神經網絡時，須要設置學習率（learning rate）控制參數更新的速度。學習率決定了參數每次更新的幅度。若是幅度過大，那麼可能致使參數在極優值的兩側來回移動。仍是以優化J(x)=x2 函數爲樣例。若是在優化中使用的學習率爲1，那麼整個優化過程將會如表2 所示。python  從上面的樣例能夠看出，不管進行多少輪迭代，參數將在5 和-5 之間搖擺，而不會收斂到一個極小值從上面的樣

>>阅读原文<<