ICCV2019-Expectation-Maximization Attention Networks for Semantic Segmentation

摘要： 自我注意機制已廣泛應用於各種任務中。它的設計是通過所有位置特徵的加權和來計算每個位置的表示。因此，它可以捕獲計算機視覺任務的長期關係。然而，這需要大量的計算。因爲注意力圖是計算w.r.t所有其他位置。在這篇論文中，我們將注意機制描述成期望最大化的方式，並迭代地估計一個更小的子集集合，在此基礎上計算注意圖。通過對這些基的加權求和，得到的表示是低秩的，並且可以從輸入中去除有噪聲的信息。我們所提

>>阅读原文<<