深度神經網絡原理代碼實戰學習筆記

這一章的內容其實就是把深度神經網絡原理用MNIST分類代碼講解了一遍，其實還是前幾節的內容，只不過更細一些，估計是老師擔心大家前面沒學懂，又在這把前面的內容總結再講，以利於大家都聽懂吧。 更細的方面應該有以下兩點吧： 1、學習率如何退化，說白了就是一開始學習率較大利於跳過一些山谷即局部最優問題。 2梯度下降四個優化算法的區別，這一塊我開始並不明白，SGD爲何會導致參數學習收斂過程震盪，諮詢老師，老

>>阅读原文<<