【文獻閱讀】Interlaced Sparse Self-Attention for Semantic Segmentation

論文鏈接：https://arxiv.org/abs/1907.12273 文章的主要思想是將稠密的關聯矩陣因式分解爲兩個稀疏的關聯矩陣的乘積。使用兩個連續的注意力模塊，第一個注意力模塊用於估計具有長空間間隔距離的位置子集內的相似度，第二個注意力模塊用於估計具有短空間間隔距離的位置子集內的相似度。與原始的自注意力模塊相比，大大降低了計算和內存複雜度，尤其是在處理高分辨率特徵圖時。 傳統的深度卷積神

>>阅读原文<<