170620 tensorflow中如何隨迭代次數更改學習率learning rate

引言python 高學習率有利於加快迭代更新的速度,但不利於找到局部/全局最優勢 低學習率有利於找到局部最優勢,但可能使得模型沒法跳出局部最優而沒法獲取全局最優 通常先利用較大的學習率尋找全局近似最優,再利用較小的學習率尋找局部最優,以指望獲取模型的全局最優解。 公式 learning−rate=min(learning−rate)+[max(learning−rate)−min(learning
相關文章
相關標籤/搜索