attention結構理解。

attention結構理解。 一、概念 1.起源 2.定義。 注意力機制（Attention）沒有特別嚴格的限制，只要是從畫面大量信息中提取出有用的核心信息，就能算做是attention機制。 （比如傳統的局部圖像特徵提取、滑動窗口等方法都可以看作是注意力機制。） 注意力機制通常是一個另外的一個神經網絡，給輸入的不同部分分配不同的權重。 3.意義 給重要的部分分配更大的權重，能夠使模型的性價比更高

>>阅读原文<<