CNN的損失函數在訓練時必定會越變越小嗎

聽了李宏毅老師的深度學習的課程裏面關於梯度降低算法的理解，纔開始去真正理解一個網絡的損失函數及優化過程，思考可能不夠全面，但願補充交流。算法 梯度降低算法用於神經網絡參數的更新，使得網絡可以擬合出合適的參數用於解決一類具體的問題，好比圖像分類或者是圖像分割等。網絡 傳統的梯度降低算法：函數   其中，θo是自變量參數，即下山位置座標，η是學習因子，即下山每次前進的一小步（步進長度），θ是更新後的θ

>>阅读原文<<