神經網絡的優化

1、神經元模型 2、神經網絡激活函數 3、神經網絡層數計算 4、神經網絡的優化   5、學習率 指數衰減學習率 根據batch_size的輪數，動態更新學習率 1、定義global_step記錄當前運行了多少輪；只是計數功能，不可訓練，trainable=False標記爲不可訓練 2、學習率衰減率在(0,1)之間，   滑動平均衰減率 滑動平均tf 實現 滑動平均通常有兩個參數，滑動平均衰減率、g

>>阅读原文<<