Transformer學習筆記

1. 概述 不論從命名還是物理結構，都可以看出，Transformer是對Encoder-Decoder模型結構的繼承與發展，用途上也依然以解決Seq2Seq問題爲初衷。 2. 歷史 2.1 Encoder-Decoder Encoder-Decoder模型其實泛指一類用於解決Seq2Seq問題的模型結構。 編解碼器都不是固定的，常用的有CNN/RNN/BiRNN/GRU/LSTM等，可以根據具體

>>阅读原文<<