label smooth/mixup——深度學習中的一種防止過擬合方法

  Label Smooth 在常見的多分類問題中，先經過softmax處理後進行交叉熵計算，原理很簡單可以將計算loss理解爲，爲了使得網絡對測試集預測的概率分佈和其真實分佈接近，常用的做法是使用one-hot對真實標籤進行編碼，作者認爲這種將標籤強制one-hot的方式使網絡過於自信會導致過擬合，因此軟化這種編碼方式。 等號左側：是一種新的預測的分佈 等號右側：前半部分是對原分佈乘一個權重， 

>>阅读原文<<