TensorFlow筆記:指數衰減學習率

學習率決定了參數更新的幅度。一般咱們但願在學習開始階段提供一個較大的學習率,使得參數快速更新,達到最優解附近。而後隨着訓練的進行,咱們但願在學習率隨着訓練次數的增長而減小,即在接近最優解的時候可以以較小的學習率逼近最優解 TensorFlow爲咱們提供了tf.train.exponential_decay()函數實現這個功能html tf.train.exponential_decay()函數 定
相關文章
相關標籤/搜索