Transformer筆記

最近transformer在cv領域嶄露頭角，分類效果直追CNN。也趁機來補習一波在NLP領域已經火了很久的transformer。本文是在看過李宏毅老師的教程之後的理解，意在用最簡單的表述講解transformer。 爲什麼用transformer 在seq2seq模型中，最常用的是RNN，但是RNN無法並行計算；而CNN雖然可以並行，但需要多層堆積纔可以對全局進行感知（類似於感受野）。因此兩個

>>阅读原文<<