神經網絡優化-學習率

  本文將介紹通過指數衰減的方法設置梯度下降算法中的學習率，通過指數衰減學習率既可以讓模型的前期快速接近較優解，又可以保證模型在訓練後期不會有太大的波動，從而更加接近局部最優。   在神經網絡中需要設置學習率來控制參數更新的速度，如果幅度過大，那麼有可能導致參數在極優值的兩側來回移動，如果學習率過小，雖然能保證收斂性，但是這會大大降低優化速度。TensorFlow中提供一種靈活的學習率的設置方法-

>>阅读原文<<