【簡單理解】XLNet

【簡單理解】XLNet 1. 簡單介紹XLNet XLNet是一個通過排列語言模型實現雙向上下文信息的自迴歸模型。它通過隨機排列輸入序列而預測某個位置可能出現的詞，進而訓練出具有上下文的語境化詞向量。  XLNet是一個類似BERT的模型，但是它採用了通用的自迴歸預訓練方法(AR模型)，而基於DAE的Bert模型採用的則是降噪自動編碼方法(AE模型)，bert和AR模型的區別主要是在以下三方面：

>>阅读原文<<