從RNN到XLnet

疫情期間，重新閱讀了語言模型相關的論文，從RNN時代到XLNet，結合看得網絡博文和視頻，簡單總結爲如下一張圖： 模型分爲AE(AutoEncoder)類，如Transformer，BERT等，AR類(AutoRegression)類，如基於RNN、LSTM或其變種（ELMO）等，這種分類方式是XLNET中的分類方法，可以參考該論文。下面引用Recurrent.ai聯合創始人楊植麟大神講座中的PP

>>阅读原文<<