attention機制 深入理解

首先也是最重要的，上圖左右，只是畫法不同，左邊是RNN encoder-decoder畫法，右邊是machine reading相關論文 以及 transformer和fairseq論文裏的圖的畫法 對於最上圖的左圖，有下圖，a是加的權值，h是encoder的states （個人理解soft attention和hard attention，是權值a的計算方式不同） 同理可理解最上圖的右圖

>>阅读原文<<