Longformer：超越RoBERTa，爲長文檔而生的預訓練模型

星標/置頂小屋，帶你解鎖node 最萌最前沿的NLP、搜索與推薦技術git 文 | ChrisCao, 小軼github 前言 今天要與你們分享的是AllenAI今年發表的最新工做，Longformer——一種可高效處理長文本的升級版Transformer。做者團隊提供了開源代碼，你們可快速復現，直接用於本身的任務。算法 傳統Tranformer-based模型在處理長文本時有着自然的劣勢。由於傳

>>阅读原文<<