Transformer理解

Transformer理解 Transformer，是google, 2017年提出的一個特徵提取模型，最近大火的Bert就是構建在Transformer的基礎 上的，所以我們有必要深入學習一下。下面是我通過閱讀原論文、博客資料，得到的一些理解 背景 在Transformer未提出來之前，RNN是自然語言處理領域用得最廣的深度學習框架，RNN有兩個最大的缺點， 一是RNN無法提取長距離依賴信息，針

>>阅读原文<<