non-local attention/ self attention 圖像應用的自我理解

self attention 是利用了圖像空間上的信息,比如分割等場景,僅僅依靠一個卷積無法建立起空間上像素之間的聯繫,但是諸如Dense-CRF就可以將每一個像素建立起聯繫,self-attention也是如此。 self-attention的結構很簡單。如下圖 我使用pad對其進行刻畫。self-attention最重要的部分就是上圖左下角部分——製造一個只與空間位置相關的特徵矩陣(上圖都是矩
相關文章
相關標籤/搜索