深度學習中的attention機制

一、Attention機制剖析 1、爲什麼要引入Attention機制？ 根據通用近似定理，前饋網絡和循環網絡都有很強的能力。但爲什麼還要引入注意力機制呢？ 計算能力的限制：當要記住很多「信息「，模型就要變得更復雜，然而目前計算能力依然是限制神經網絡發展的瓶頸。 優化算法的限制：雖然局部連接、權重共享以及pooling等優化操作可以讓神經網絡變得簡單一些，有效緩解模型複雜度和表達能力之間的矛盾；但

>>阅读原文<<