NLP論文筆記：Transformer XL

Transformer 提出後 在NLP領域開闢來一個新天地，但是Transformer 無法實現長距離的依賴性使得對長文本不方便處理，一般情況都要切成小的segment輸入模型得到結果，缺點就是無法利用segment與segment之間的信息，這導致影響長文本訓練結果。 所以很多人開始研究 如何基於 Transformer 做長距離依賴性的改善。 這裏面主要講的是 Transformer-XL

>>阅读原文<<