Big Bird: Transformers for Longer Sequences論文詳解

文章目錄 Big Bird大鳥模型 論文要解決問題 解決方法 隨機注意力 固定窗口注意力 全局注意力 複雜度分析 實驗 三種注意力的消融實驗。 語言模型對比roberta、longformer QA問題中對比longformer 長文本分類任務 文章摘要任務 基因語言模型實驗 如有問題歡迎指出，參考論文https://arxiv.org/abs/2007.14062 Big Bird大鳥模型 論文

>>阅读原文<<