谷歌開源先進語言模型Transformer-XL：集Transformer和RNN之大成

近日，谷歌聯合 CMU 開源了一個名爲 Transformer-XL 的語言模型，它是目前處理語言建模問題最先進的架構之一 Transformer 模型的第三代升級，不僅能夠處理可變長度序列，並且在多個任務中刷新了當前的最好性能（推理速度快 300-1800 倍）。 2017年6月，谷歌大腦在論文《Attention Is All You Need》中提出了一個完全基於注意力機制的編解碼器模型Tr

>>阅读原文<<