Non-local Neural及Self-attention

@Non-local Neural及Self-attention Non-local Neural及Self-attention 1 創新點 無論cv還是nlp，都需要捕獲長範圍依賴。在時間序列任務中RNN操作是一種主要的捕獲長範圍依賴手段，而在CNN任務中通過堆疊多個卷積模塊來形成大的感受野。目前的卷積核循環算子都是在空間和時間上的局部操作，長範圍依賴捕獲是通過重複堆疊，並且反向傳播得到，存在3

>>阅读原文<<