絕對乾貨!NLP預訓練模型:從transformer到albert

背景 語言模型是機器理解人類語言的途徑,17年的transformer是語言模型擺脫rnn,lstm建模的一次嘗試,後續的bert則是大力出奇跡的代表,用更大的模型和更多的數據將nlp任務的benchmark提高了一大截。gpt在auto-regressive的路上一路走到黑,而xlnet將gpt和bert的優點結合在了一起,然後用更更大的數據吊打了bert。沒過多久,bert的增強版robert
相關文章
相關標籤/搜索