label smooth/mixup——深度學習中的一種防止過擬合方法

  Label Smooth 在常見的多分類問題中，先通過softmax處理後進行交叉熵計算，原理很簡單能夠將計算loss理解爲，爲了使得網絡對測試集預測的機率分佈和其真實分佈接近，經常使用的作法是使用one-hot對真實標籤進行編碼，做者認爲這種將標籤強制one-hot的方式使網絡過於自信會致使過擬合，所以軟化這種編碼方式。網絡 等號左側：是一種新的預測的分佈學習 等號右側：前半部分是對原分佈乘

>>阅读原文<<