12.10 抽取式摘要論文閱讀 HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for D

摘要 我們提出了Hiebert（作爲來自變壓器的分層雙向編碼器表示的縮寫），用於文檔編碼和使用未標記數據對其進行預訓練的方法 先預訓練摘要模型的複雜的部分，（the hierarchical encoder），然後，我們學習從預先訓練的編碼器初始化我們的模型來對句子進行分類。 無監督的模型 Model Hibbert在培訓過程中的架構。Senti是上述文件中的一句話，總共有4個句子。在編碼期間掩蔽

>>阅读原文<<