論文閱讀:《Pretraining-Based Natural Language Generation for Text Summarization》

論文地址:https://arxiv.org/abs/1902.09243 簡介 該論文自稱是首個將BERT應用在文本生成任務上的文章,論文講解的非常的清晰詳細,模型的框架依然使用經典的encoder-decoder形式,encoder層使用了BERT,生成句子向量,decoder層思想比較新穎,分爲兩步,第一步先使用transformer生成一個基礎文摘,第二步將這個句子的每個詞都做一次mask
相關文章
相關標籤/搜索