CNN的損失函數在訓練時一定會越變越小嗎

聽了李宏毅老師的深度學習的課程裏面關於梯度下降算法的理解，纔開始去真正理解一個網絡的損失函數及優化過程，思考可能不夠全面，希望補充交流。 梯度下降算法用於神經網絡參數的更新，使得網絡能夠擬合出合適的參數用於解決一類具體的問題，比如圖像分類或者是圖像分割等。 傳統的梯度下降算法：   其中，θo是自變量參數，即下山位置座標，η是學習因子，即下山每次前進的一小步（步進長度），θ是更新後的θo，即下山移

>>阅读原文<<