XLNet解讀

背景 我們先對現有的預訓練語言模型做個分類討論。 語言模型AR vs AE 按照預訓練語言模型的學習目標，可以分爲自迴歸語言模型(Autoregressive, AR)和自編碼語言模型(Autoencoding, AE)兩種。 Autoregressive LM 自迴歸語言模型(Autoregressive LM, AR), 通俗的來說就是單向語言模型，通過過去時刻已知的結果去預測下一個時刻(或者

>>阅读原文<<