最通俗易懂的XLNET詳解

簡介 18年末谷歌爸爸推出了bert，該模型一經問世就佔據了nlp界的統治地位，現在CMU和google brain聯手推出了bert的改進版xlnet。在這以前也有不少公司對bert進行了優化，包括百度、清華的知識圖譜融合，微軟在預訓練階段的多任務學習等等，可是這些優化並無把bert致命缺點進行改進。xlnet做爲bert的升級模型，主要在如下三個方面進行了優化html 採用AR模型替代AE模型

>>阅读原文<<