Self-Attention GAN的一些理解

其實那麼多的attention機制，說白了就是一句話，從新分配權重，好比說如今有一個n維向量[x1, x2, x3..., xn]，我以爲x1的值不足以表明其真實狀況，因此但願利用x2,...xn的值來對其進行「修補」, 而後就是要找到一組權重w1, w2, w3...wn, 對其求加權平均（也不必定是加權平均，看實際需求）來獲得x1的最終值（固然，實際應用中會涉及到一些維度映射，Query-Ke

>>阅读原文<<