Tensorflow調參總結

  1 批處理 tf在進行批處理時，會需要用到均值與方差數據，而在批處理中使用的均值與方差不是單純的使用當前批數據的均值與方差，而是對會根據當前批均值方差和上一批維護的均值方差進行指數衰減求一個新的均值方差，而對slim中的batch_norm，需要注意以下幾點： slim batch_norm函數的輸入參數中有一個decay，該參數能夠衡量使用指數衰減函數更新均值方差時，更新的速度，取值通常在0

>>阅读原文<<