tf使用adam訓練參數變化

tf adam 訓練了1000步，比較了每一步參數值相比上一步的變化值，以下是5*5*1*32卷積層的的參數，隨機選取了5個參數值：   感覺在訓練過程中，參數值的變化不是趨近於0，而是一直在0附近做上下波動，而且振幅沒有明顯變小的趨勢。   但是把每一步的參數值記錄下來，發現趨勢還是比較明顯的。以下是訓練5000步，每50步記錄一次參數值，同樣選擇第1層的卷積核，隨機取幾個參值：

>>阅读原文<<