Longformer解讀: The Long-Document Transformer

文章目錄 Longformer要解決什麼問題 Longformer怎麼解決 固定窗口 跳躍滑動窗口 全局注意力 實現細節 實驗結果 實驗自迴歸語言模型 text8的消融實驗 WikiHop的消融實驗 Qa任務 如有不對地方，歡迎指出，謝謝。 參考鏈接：論文：https://arxiv.org/abs/2004.05150 Longformer要解決什麼問題 原始transformer有O(n^2)

>>阅读原文<<