TensorFlow筆記-07-神經網絡優化-學習率,滑動平均

TensorFlow筆記-07-神經網絡優化-學習率,滑動平均 學習率 學習率 learning_rate: 表示了每次參數更新的幅度大小。學習率過大，會致使待優化的參數在最小值附近波動，不收斂；學習率太小，會致使待優化的參數收斂緩慢 在訓練過程當中，參數的更新向着損失函數梯度降低的方向 參數的更新公式爲： wn+1 = wn - learning_rate▽ 假設損失函數 loss = (w +

>>阅读原文<<