絕對乾貨！NLP預訓練模型：從transformer到albert

背景 語言模型是機器理解人類語言的途徑，17年的transformer是語言模型擺脫rnn，lstm建模的一次嘗試，後續的bert則是大力出奇跡的代表，用更大的模型和更多的數據將nlp任務的benchmark提高了一大截。gpt在auto-regressive的路上一路走到黑，而xlnet將gpt和bert的優點結合在了一起，然後用更更大的數據吊打了bert。沒過多久，bert的增強版robert

>>阅读原文<<