注意力機制----RNN中的self-attention

對於SimpleRNN來說，要更新當前狀態h_1 ： 將「輸入」和「上一個時刻狀態」拼接 乘以A，加上b，乘以雙曲正切函數 對於有注意力機制的RNN來說： 將「輸入」和「c_0」拼接 （剩下都一樣） （也可以將三個拼接） 每一個c的算法： 注意力權重和狀態 做向量內積 總結： attention是用在seq2seq模型中的，是encoder做出用於decoder。 而self-attention是

>>阅读原文<<