注意力機制總結

一、注意力機制 本文重點從語義分割方向介紹注意力機制的基本原理。注意力機制大多數採用掩碼實現。掩碼往往指使用一層全新的注意力機制權重，將特徵數據中每個部分的關鍵程度表示出來，並加以學習訓練。從通俗的意義上解釋，注意力機制的本質是利用相關特徵圖進行學習的權重，再將學習的權重施加在原特徵圖上進行加權求和，進而得到增強的特徵。 一般來說，加權的過程可以分爲soft attention和hard atte

>>阅读原文<<