SegaBERT論文詳解及翻譯（全面改進Transformer類預訓練模型，自然語言任務超過BERT的SegaBERT，2020年4月論文）

SegaBERT論文詳解及翻譯 （喜歡看小結的同學可以直接往下翻） 摘要 預訓練模型取得了SOTA的結果在多種nlp任務中。它們中的大多數基於Transformer結構，使用token的序列輸入位置來區分token。然而，句子索引和段落索引對於標識一篇文檔中的token位置也同樣重要。我們假設使用更好的位置信息做text encoder可以生成更好的篇章表示。爲了證實這個觀點，我們提出了一個seg

>>阅读原文<<