DL study 8 正則化

L1範數和L2範數 ------- dropout也可以看成是一種正則化，因爲隨機去掉一些單元，就使網絡結構變得簡單，就相當於是不讓網絡那麼複雜，產生過擬合。但是dropout的時候，損失函數j是不好計算的（因爲有些單元爲0）。所以先用沒有dropout的網絡計算損失函數，損失函數曲線是收斂的。然後再用dropout方法。【網易雲課堂】 

>>阅读原文<<