Task9

一. Attention原理 Attention的原理就是計算當前輸入序列與輸出向量的匹配程度，匹配度高也就是注意力集中點其相對的得分越高，其中Attention計算得到的匹配度權重，只限於當前序列對，不是像網絡模型權重這樣的整體權重。 算法過程： 1）encode對輸入序列編碼得到最後一個時間步的狀態c，和每個時間步的輸出h，其中c又作爲decode的初始狀態z0。 2）對於每個時間步的輸出h與

>>阅读原文<<