《Video Action Transformer Network》閱讀筆記（附Transformer的筆記內容）

Transformer 半年前剛開始踏入深度學習的時候，看李弘毅的視頻瞭解了一點Transformer。這次的筆記也是基於李宏毅視頻講解的內容。 在處理seq2seq問題時，我們首先能想到的就時rnn，它的優勢是能結合上下文把握全局，不足是，它的計算不能實現平行。如下圖，要想得到b4，必須先計算出b1,b2,b3。但如果用cnn替換rnn那就可以實現並行了，只不過這樣的cnn需要構建多層，如圖右邊

>>阅读原文<<