XLNet入門（1）

1. 自迴歸(AR)語言模型和自編碼(AE)語言模型 AR語言模型是利用上下文單詞預測下一個單詞的一種模型。但是在這裏，上下文單詞被限制在兩個方向，要麼向前，要麼向後。 GPT， GPT-2， XLNet都是AR語言模型 AR語言模型的優點是擅長NLP生成任務。因爲在生成上下文時，通常是正向的。AR語言模型在這類NLP任務中很自然地工作得很好。 但是AR語言模型有一些缺點，它只能使用前向上下文或後

>>阅读原文<<