tensorflow中學習率、過擬合、滑動平均的學習

1. 學習率的設置 咱們知道在參數的學習主要是經過反向傳播和梯度降低，而其中梯度降低的學習率設置方法是指數衰減。 經過指數衰減的學習率既可讓模型在訓練的前期快速接近較優解，又能夠保證模型在訓練後期不會有太大的波動，從而更加接近局部的最優解。 在tensorflow中提供了一個靈活的學習率設置方法，tf.train.exponential_decay函數實現了指數衰減，其實現的原理以下：python

>>阅读原文<<