基於交叉可視訓練的半監督序列建模

背景 半監督學習結合遷移學習是一個研究熱點，預訓練表徵與多種形式的半監督學習是互補的。 這篇論文（具有交叉視訓練的半監督序列建模(Semi-Supervised Sequence Modeling with Cross-View Training)），思想是確保對不同輸入視圖預測與主模型的預測一致，這和word dropout類似，允許利用未標註數據來加強模型的魯棒性。與mean teacher等

>>阅读原文<<