Self-training Improves Pre-training for Natural Language Understanding 筆記
self-training，是用訓練好的模型的預測結果 作爲 僞target，混入原訓練集一起訓練， 該文的創新在於提出一種文本相似度算法從海量文本中找出和 訓練集中的文本 相似的文本， 然後用訓練好的模型對這批 找出的相似的文本 進行預測出 僞target，然後混一起，然後是BERT fine-tune， 提升了fine-tune的效果，似乎跟文章題目說的pre-train沒關係。 原文也提到了
相關文章
- 1. Watson Natural Language Understanding
- 2. Multi-Task Deep Neural Networks for Natural Language Understanding閱讀筆記
- 3. 文獻閱讀筆記：XLNet: Generalized Autoregressive Pretraining for Language Understanding
- 4. UniLM: Unified Language Model Pre-training for Natural Language Understanding and Generation
- 5. 論文閱讀 Multi-Task Deep Neural Networks for Natural Language Understanding
- 6. 論文閱讀：《Pretraining-Based Natural Language Generation for Text Summarization》
- 7. CS224d: Deep Learning for Natural Language Process
- 8. 自然語言理解（Natural Language Understanding）
- 9. 論文閱讀：Dual Supervised Learning for Natural Language Understanding and Generation
- 10. Multi-Task Deep Neural Networks for Natural Language Understanding【MT-DNN模型】
- 更多相關文章...
- • RSS
元素 - RSS 教程 - • ASP.NET Razor - 標記 - ASP.NET 教程
- • Tomcat學習筆記（史上最全tomcat學習筆記）
- • YAML 入門教程
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Watson Natural Language Understanding
- 2. Multi-Task Deep Neural Networks for Natural Language Understanding閱讀筆記
- 3. 文獻閱讀筆記：XLNet: Generalized Autoregressive Pretraining for Language Understanding
- 4. UniLM: Unified Language Model Pre-training for Natural Language Understanding and Generation
- 5. 論文閱讀 Multi-Task Deep Neural Networks for Natural Language Understanding
- 6. 論文閱讀：《Pretraining-Based Natural Language Generation for Text Summarization》
- 7. CS224d: Deep Learning for Natural Language Process
- 8. 自然語言理解（Natural Language Understanding）
- 9. 論文閱讀：Dual Supervised Learning for Natural Language Understanding and Generation
- 10. Multi-Task Deep Neural Networks for Natural Language Understanding【MT-DNN模型】