自注意機制論文學習: On the Relationship between Self-Attention and Convolutional Layers

背景 transformer的提出對NLP領域的研究有很大的促進作用，得益於attention機制，特別是self-attention，就有研究學者將attention/self-attention機制引入計算機視覺領域中，也取得了不錯的效果[1][2]。該論文[4]側重於從理論和實驗去驗證self-attention[3]可以代替卷積網絡獨立進行類似卷積的操作，給self-attention在圖

>>阅读原文<<