Seq2seq

以下圖片來自網絡。 Seq2seq中使用語義向量C的方式，有兩種： decoder裏只有第一個h1直接使用。 decoder中每個詞都和輸入一起使用。 使用attention之後，每次解碼用到的Ci會根據權重變化調整，Ci一般是對編碼器每一步的隱層輸出hi的加權求和。 注意力分配概率分佈，用輸出句子i-1時刻的隱層節點狀態Hi-1去一一和輸入句子Source中每個單詞隱層節點狀態hj進行對比，即通

>>阅读原文<<