最新語言表示學習方法XLNet，在20項任務上超越BERT

最新語言表示學習方法XLNet，在20項任務上超越BERT 原文地址：http://www.javashuo.com/article/p-ncqijumb-hk.htmlhtml 摘要：憑藉對雙向上下文進行建模的能力，與基於自迴歸語言建模的預訓練方法相比，基於BERT的基於自動編碼的預訓練實現了更好的性能。然而，依賴於對輸入使用掩碼，BERT忽略了屏蔽位置之間的依賴性，而且受到預訓練 - 微調差別

>>阅读原文<<