關於正則懲罰L2 norm裏w越小越好的一些另類思考

以下全是本博主一派胡言，把深度學習看成是一種樂趣，而不是壓力，在探索中，發現了很多樂趣：   一，現在通常用的激勵函數，在input比較大的時候，不飽和，也就是分類效果好，而在input比較大的地方趨於飽和。w越小，就意味着input = wx+b比較小，也就是落在不飽和區的可能性更大，也就是更接近於線性。     二，黑色的直線顯然比紫色的線泛華能力更好，黑色直線的w要小於紫色線的斜率。對於這種

>>阅读原文<<