動手學深度學習番外篇：注意力機制概述

我覺得，注意力機制的核心就是：權重。分配不同權重來體現不同輸入對當前計算時的重要程度。 注意力池化： 偏好： 帶注意力池化的LSTM，進行指定類別的情感分類： h是通過LSTM計算出的隱藏層，我們現在要判斷在味覺方面的好壞的評價，爲每個h向量，拼接一個關於味覺的參數化的查詢項，然後通過softmax計算概率，得到的就是每個詞對味覺評判時的權重，再乘以沒有加關於味覺的參數化的查詢項時的h得到進行結果

>>阅读原文<<