【計算機視覺】深刻理解Attention機制

1. 什麼是Attention機制？ 其實我沒有找到attention的具體定義，但在計算機視覺的相關應用中大概能夠分爲兩種：web 1）學習權重分佈：輸入數據或特徵圖上的不一樣部分對應的專一度不一樣，對此Jason Zhao在知乎回答中歸納得很好，大致以下： - 這個加權能夠是保留全部份量均作加權（即soft attention）；也能夠是在分佈中以某種採樣策略選取部分份量（即hard atte

>>阅读原文<<