論文筆記：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

前言 論文鏈接：https://www.aclweb.org/anthology/P19-1285/ github：https://github.com/kimiyoung/transformer-xl 目前在NLP領域中，處理語言建模問題有兩種最先進的架構：RNN和Transformer。RNN按照序列順序逐個學習輸入的單詞或字符之間的關係，而Transformer則接收一整段序列，然後使用se

>>阅读原文<<