Facebook AI Research（FAIR）開源深度學習算法 Expire-Span

Facebook AI Research（FAIR）開源了 Expire-Span，這是一種深度學習技術，能夠學習輸入序列中哪些項目應該被記住，從而下降 AI 的內存和計算要求。FAIR 代表，歸入 Expire-Span 的 Transformer 模型能夠擴展到數萬個項目的序列，與之前的模型相比，性能有所提升。

該研究小組在即將舉行的國際機器學習會議（ICML）上發表的一篇論文中描述了該技術和幾個實驗。Expire-Span 容許順序人工智能模型 "忘記 "那些再也不相關的事件。當歸入自我關注模型，如 Transformer，Expire-Span 減小了所需的內存量，使模型可以處理更長的序列，這是提升許多任務性能的關鍵，如天然語言處理（NLP）。使用 Expire-Span，該團隊訓練的模型能夠處理高達 128k 的序列，比之前的模型多了一個數量級，與基線相比，準確性和效率都有所提升。研究科學家和論文合著者 Angela Fan 和 Sainbayar Sukhbaatar 在 FAIR 的博客上寫道。

Facebook 表示：做爲咱們研究更像人類的人工智能系統的下一步，咱們正在研究如何將不一樣類型的記憶融入神經網絡。所以，從長遠來看，咱們可使人工智能更接近人類的記憶，具備比當前系統更快的學習能力。咱們相信 Expire-Span 是一個重要的、使人興奮的進步，朝着這種將來的人工智能驅動的創新邁進。

爲了評估 Expire-Span 的性能，該團隊選擇了三種基線 Transformer 模型--Transformer-XL、Compressive Transformer 和 Adaptive-Span--並比較了模型的準確性以及 GPU 內存和訓練速度。這些模型被用於幾個強化學習（RL）和 NLP 任務。Expire-Span 在大多數實驗中的表現優於基線；例如，在序列複製任務中，Expire-Span 擴展到 128k 的序列長度，達到 52.1%的準確率，而 Transform-XL 在 2k 的序列長度上只有 26.7%的準確率。

Expire-Span 項目 GitHub 地址：https://github.com/facebookre...