attention的是是非非

基本形式： 圖解： 其中Q爲query,K爲key,V爲value。attention就是看看Q和K的相關性，Q代表的是原圖中的原始信息的語義映射，一般不改變其維度，K代表想將原圖中的信息映射到多少維的空間中，（保持、增大還是減少）。 在self-attention中，計算量和顯存佔用比較大的主要是生成attention map時的 步驟。因此可以從這個方向減少計算量。 更改示例 ISSA: In

>>阅读原文<<