神經網絡中的滑動平均模型

在採用隨機梯度下降（SGD）算法訓練神經網絡時，使用滑動平均模型可以一定程度增強參數的穩定性，提高最終模型在測試數據上的表現，使模型在測試數據上更健壯。 在TensorFlow中提供了tf.train.ExponentialMovingAverage(decay, steps)來實現滑動平均模型。ExponentialMovingAverage對每一個變量會維護一個影子變量，並且保存在Expone

>>阅读原文<<