引入注意力機制的Seq2seq模型筆記

【伯禹學習深度學習打卡筆記】 將注意機制添加到sequence to sequence 模型中，以顯式地使用權重聚合states。下圖展示encoding 和decoding的模型結構，在每一個encoder的時間步t,，選擇這個時間步有關的編碼器的信息。 圖1 具有注意力機制的seq-to-seq模型解碼的第二步 此刻attention layer保存着encodering看到的所有信息——即e

>>阅读原文<<