谷歌新模型突破BERT侷限：NLP版「芝麻街」新成員Big Bird長這樣

公衆號關注 「ML_NLP」 設爲 「星標」，重磅乾貨，第一時間送達！ 蕭簫 發自 凹非寺 量子位 報道 | 公衆號 QbitAI 最新消息，谷歌推出了NLP系列「芝麻街」的新成員Big Bird。 這個在外界眼中看起來有點可愛的動漫小鳥，搖身一變，解決了BERT模型中的全注意力機制帶來的序列長度二次依賴限制，可以兼顧更長的上下文。 △「芝麻街」中的Big Bird 衆所周知，谷歌開發的BERT，

>>阅读原文<<