賽爾筆記 | Transformer及其變種

公衆號關注 「ML_NLP」 設爲 「星標」，重磅乾貨，第一時間送達！ 作者：哈工大SCIR 蔣潤宇 簡介 近年來NLP領域最讓人印象深刻的成果，無疑是以谷歌提出的Bert爲代表的預訓練模型了。它們不斷地刷新記錄（無論是任務指標上，還是算力需求上），在很多任務上已經能超越人類平均水平，還具有非常良好的可遷移性，以及一定程度的可解釋性。 例如，當我們需要在論文裏解釋爲什麼算法或者改動能夠work的時

>>阅读原文<<