Self-Attention 最新進展

原文地址 Attention注意力，起源於Human visual system（HVS），個人定義的話，應該類似於 外界給一個刺激Stimuli，然後HVS會第一時間產生對應的 saliency map，注意力對應的應該就是這個顯著性區域。 這其中就涉及很多 bottom-up 及 top-down 的 physiological 原理~總的來說，就是 區域權值學習 問題： 1、Hard-att

>>阅读原文<<