注意力機制集錦

注意力機制模仿的是人類觀察模式。一般我們在觀察一個場景時，首先觀察到的是整體場景，但當我們要深入瞭解某個目標時，我們的注意力就會集中到這個目標上，甚至爲了觀察到目標的紋理，我們會靠近目標，仔細觀察。同理在深度學習中，我們提取到的信息流以同等重要性向後流動，而如果我們知道某些先驗信息，我們就能夠根據這些信息抑制某些無效信息的流動，從而使得重要信息得以保留。這是一種模式，而並非具體的公式，因此存在各種

>>阅读原文<<