神經網絡調參：loss震盪過於明顯/loss劇烈抖動

前言 在訓練網絡的時候，常常會出現loss出現非常明顯的劇烈抖動情況，雖然大多數情況可以繼續訓練下去，但是實際上還是預示着問題存在。而且，有不同維度的問題，這也需要不同的解決方法，但是具體究竟是哪一種，還得具體情況具體分析。 無過擬合 是否找到合適的loss函數：在深度學習裏面，不同的loss針對的任務是有不同的，有些loss函數比較通用例如L1/L2等，而如perceptual loss則比較適

>>阅读原文<<