softened softmax vs softmax

如圖所示:兩者的區別如下: 這樣做就可以得到這個概率分佈更柔和的表示 實際上可以多個硬指標加上軟指標進行訓練,然後訓練目標會匹配這兩種類型的某些功能; 圖中谷歌大神說這種方法在一個大的語音模型上做的實驗,效果出乎意料的好;從另一個角度來講,所以軟指標是一種相當好的正則化技巧;軟指標相比硬指標而言提供了更多的信息,訓練速度也快很多,訓練時間也要短得多;
相關文章
相關標籤/搜索