谷歌新模型突破BERT侷限:NLP版「芝麻街」新成員Big Bird長這樣

公衆號關注 「ML_NLP」 設爲 「星標」,重磅乾貨,第一時間送達! 蕭簫 發自 凹非寺 量子位 報道 | 公衆號 QbitAI 最新消息,谷歌推出了NLP系列「芝麻街」的新成員Big Bird。 這個在外界眼中看起來有點可愛的動漫小鳥,搖身一變,解決了BERT模型中的全注意力機制帶來的序列長度二次依賴限制,可以兼顧更長的上下文。 △「芝麻街」中的Big Bird 衆所周知,谷歌開發的BERT,
相關文章
相關標籤/搜索