XLNet

1.克服了BERT沒有考慮文本順序的缺陷。 2.能夠考慮文本內容，仍是雙向的，文本的順序仍是隨機的一個模型。 3.用了最早進的transformer-XL,得到了更牛逼的性能。 它比BERT在20個任務上好，還在18個任務上實現了最好的結果。html 1.做者用隨機全部句子中的順序，加上雙向lstm,從而得到了context信息 （評價：徹底摒棄了語句的順序） 二、由於沒有mask,因此去除了pr

>>阅读原文<<