【機器學習】注意力機制

1 注意力機制定義 1.1 定義 深度學習中的注意力機制從本質上講和人類的選擇性視覺注意力機制類似，核心目標也是從衆多信息中選擇出對當前任務目標更關鍵的信息注意力機制就是一種加權 1.2 爲什麼注意力機制可以發揮重要作用 卷積是如何提取特徵的？ 卷積操作實際上是向量的內積，而兩個向量的內積代表他們的相關程度 卷積是是一個線性的過程，爲了增加非線性特徵，加入了池化層和激活層。這個過程是一系列矩陣乘法

>>阅读原文<<