文本太長，Transformer用不了怎麼辦

長文檔預訓練模型 基於Transformer的模型已經引領NLP領域，然而基於Transformer的方法隨着輸入文本長度的增加，計算量劇增，並且Transformer能處理的句子長度受限，已有的方法大多使用截斷的方式，這會導致信息損失，因此如何實現長文本的預訓練是目前的一大難題。   長文檔的預訓練模型 Longformer: The Long-Document Transformer，2020

>>阅读原文<<