XLNet模型

1. 簡介 XLNet是一種類似BERT的模型，XLNet是一種通用的自迴歸預訓練方法，由CMU和Google Brain團隊在2019年6月發佈，在18個任務取得了當前最佳效果，包括機器回答，自然語言推斷，情感分析，文檔排序。 出發點： BERT是基於去噪自編碼器的預訓練模型，可以很好對雙向語境信息建模，性能優於自迴歸語言模型的預訓練方法。但是，優於需要mask一部分的輸入，BERT模型忽略了m

>>阅读原文<<