《動手學深度學習》----深度學習基礎複習

交叉熵只關心對正確類別的預測概率，因爲只要其值足夠大，就可以確保分類結果正確，而平方損失則過於嚴格，例如y(i)1=y(i)2=0比y(i)1=0,y(i)2=0.4的損失要小很多，雖然兩者都有同樣正確的分類預測結果。 正則化通過爲模型損失函數添加懲罰項使學出的模型參數值較小，是應對過擬合的常用手段。 權重衰減是在模型原損失函數基礎上添加L2範數懲罰項，從而訓練所需要最小化的函數。通常會使學到的權

>>阅读原文<<