XLNet

  1 導語 18年底谷歌爸爸推出了bert,該模型一經問世就佔據了nlp界的統治地位,如今CMU和google brain聯手推出了bert的改進版xlnet。在這之前也有很多公司對bert進行了優化,包括百度、清華的知識圖譜融合,微軟在預訓練階段的多任務學習等等,但是這些優化並沒有把bert致命缺點進行改進。xlnet作爲bert的升級模型,主要在以下三個方面進行了優化 採用AR模型替代AE模
相關文章
相關標籤/搜索