深入淺出Transformer

Transformer Transformer是NLP的顛覆者，它創造性地用非序列模型來處理序列化的數據，而且還獲得了大成功。更重要的是，NLP真的可以「深度」學習了，各種基於transformer的模型層出不窮，如BERT、GPT-2、T-NLG，而且模型參數量呈指數級增長。 Transformer之前，大家的思路都是在改進序列模型，從RNN到LSTM、GRU、Seq2Seq。如果你看過我之前寫

>>阅读原文<<