深度學習總結(九)——正則化

1. 正則化簡介 以邏輯斯蒂迴歸爲例，介紹正則化。 原來的成本函數(cost function)： minw,bJ(w,b)=minw,b1m∑i=1mL(y^(i),y(i)) 其中： w∈Rnx,b∈R 加入正則化項得： J(w,b)=1m∑i=1mL(y^(i),y(i))+λ2m||w||22 其中： ||w||22=∑j=1nxw2j=wTw 上式中的正則化是L2正則化。 正則化是一種非

>>阅读原文<<