tensorflow使用L2 regularization正則化修正overfitting過擬合

L2正則原理: 在Loss中加入參數w的平方和,這樣訓練過程中就會抑制w的值,w的值小,曲線就比較平滑,從而減小過擬合,參考公式如下圖: 正則化是不影響你去擬合曲線的,並不是所有參數都會被無腦抑制,實際上這是一個動態過程,是cross_entropy和L2 loss博弈的一個過程。訓練過程會去擬合一個合理的w,正則化又會去抑制w,兩項相抵消,無關的wi越變越小,但是比零強,有用的wi會被保留,處於
相關文章
相關標籤/搜索