《動手學深度學習》----深度學習基礎複習

交叉熵只關心對正確類別的預測機率，由於只要其值足夠大，就能夠確保分類結果正確，而平方損失則過於嚴格，例如y(i)1=y(i)2=0比y(i)1=0,y(i)2=0.4的損失要小不少，雖然二者都有一樣正確的分類預測結果。 web 正則化經過爲模型損失函數添加懲罰項使學出的模型參數值較小，是應對過擬合的經常使用手段。網絡 權重衰減是在模型原損失函數基礎上添加L2範數懲罰項，從而訓練所須要最小化的函數。

>>阅读原文<<