XLNet論文筆記

1.簡介 本文依據2020年《XLNet: Generalized Autoregressive Pretraining for Language Understanding》翻譯總結而來。 Autoregressive（AR）語音模型和aotoencoding（AE）是目前最成功的兩個預訓練語言模型。 AE模型不是進行明確的概率評估，而是從破壞的輸入恢復原數據。最知名的例子是BERT。給定輸入，

>>阅读原文<<