ICCV2019-Expectation-Maximization Attention Networks for Semantic Segmentation

摘要: 自我注意機制已廣泛應用於各種任務中。它的設計是通過所有位置特徵的加權和來計算每個位置的表示。因此,它可以捕獲計算機視覺任務的長期關係。然而,這需要大量的計算。因爲注意力圖是計算w.r.t所有其他位置。在這篇論文中,我們將注意機制描述成期望最大化的方式,並迭代地估計一個更小的子集集合,在此基礎上計算注意圖。通過對這些基的加權求和,得到的表示是低秩的,並且可以從輸入中去除有噪聲的信息。我們所提
相關文章
相關標籤/搜索