[預訓練語言模型專題] Transformer-XL 超長上下文注意力模型

本文爲預訓練語言模型專題系列第十篇，同時增錄之前的兩篇爲第十一和十二篇。 快速傳送門    1-4:[萌芽時代]、[風起雲涌]、[文本分類通用技巧] 、 [GPT家族] 5-8:[BERT來臨]、[淺析BERT代碼]、[ERNIE合集]、[MT-DNN(KD)] 9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]   感謝清華大學自然語言

>>阅读原文<<