XLNet

1.克服了BERT沒有考慮文本順序的缺陷。 2.可以考慮文本內容，還是雙向的，文本的順序還是隨機的一個模型。 3.用了最先進的transformer-XL,獲得了更牛逼的性能。 它比BERT在20個任務上好，還在18個任務上實現了最好的結果。 1.作者用隨機所有句子中的順序，加上雙向lstm,從而獲得了context信息 （評價：完全摒棄了語句的順序） 2、因爲沒有mask,所以去除了pretra

>>阅读原文<<